预注册测试发现托管模型Jev受无关选项影响

AltSlate Labs LLP 发布预注册研究，对托管决策模型 jev-1.13.0 测试其是否满足无关选项独立性（IIA），发现新增选项会使正确答案与最强错误答案之间的对数几率发生系统性偏移，RMS 偏移为 0.20–0.52 nats，为运行间波动的 1.2 至 3 倍。 研究使用 299,463 次调用，覆盖意图分类（BANKING77、CLINC150）和主题分类（AG News）任务。作者称，改用独立是非题对每个选项单独打分可消除选项集依赖，但正确率会降低 8.7 个百分点。本结论基于论文摘要，结果限于该模型与上述分类任务。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。