量化对巴伐利亚语等语言影响的基准研究

Jophin John 等发布论文，用 BAVGROUND 基准（206 道在巴伐利亚语、标准德语和英语间对齐的选择题）评测量化对开放权重指令模型的影响。研究比较了 14 个 7B–10B 模型的 BF16、8 位 GPTQ、4 位 GPTQ 与 AWQ 表现。 结果显示，8 位 GPTQ 接近 BF16 并较好保持三种语言的相对行为；两种 4 位方法使平均准确率下降约 1.4–1.5 个百分点，并改变 BF16 模型 11.9%–16.0% 的判断，变化主要发生在模型原本不确定的样本上。 作者称，区域语言变体的量化鲁棒性取决于模型、量化方法、校准数据和评测设置，不能仅凭聚合的多语言准确率衡量。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。