105个语言模型的选择集中度研究：serendipity成为46%首选答案

Tapan Parikh在论文中研究105个来自20多家实验室的语言模型在开放式单词选择任务中的答案趋同现象，所有模型合计有46%的回答选择了“serendipity”。研究使用96个单轮提示，每个模型重复回答8次并按精确匹配评分，结果显示28个类别中至少有一个答案占全部回答的80%，但模型对首选之外的次选答案也存在明显趋同；提示、对话记录和代码均已公开。