研究测量105个语言模型开放式选词的趋同性

Tapan Parikh发布The One-Word Census论文（arXiv:2607.12796v4），测量105个来自20多家实验室的语言模型在开放式单词选择任务中的答案趋同。在96个单轮提示（如“说出一种树”）下，每模型重复回答8次并按精确匹配评分，所有模型合计有46%的回答选择了“serendipity”。 研究还发现，28个类别中至少有一个答案占全部回答的80%，且模型在首选之外的次选答案上也存在明显趋同。作者用“答案选择surprisal”（各模型答案在其他所有模型汇总答案下的平均-log2概率）刻画每个模型的趋同贡献。提示、对话记录和代码均已公开。

AI 根据报道生成 · 57 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。