论文称指令微调模型坍缩为单点输出而非采样分布

Chaemin Jang、Dongman Lee 和 Jihee Kim 发布 arXiv 论文，指出指令微调语言模型并不能从其可描述的分布中采样：在公开舆情基准上，同一人格对同一问题在超过一半的条目上返回相同答案，即模型坍缩到单一输出；在可比较的每个模型家族中，指令微调模型都比其基座模型更差，说明指令导向后训练加剧了无法独立采样的问题。 作者进一步提出利用模型 KNOWS/DOES 分裂的单次分布描述方法，以及 Prompt-Perturbed Argyle（PPA）方法：据论文摘要报告，相比人格聚合方式，单次调用让模型描述回答分布可将相对人类调查数据的误差降低超过一半，PPA 降低 21%。当前材料基于论文摘要，未说明完整实验细节。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。