论文审计:API基准分数难以可靠迁移到聊天界面
热点事件持续更新
论文审计:API基准分数难以可靠迁移到聊天界面
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Jennifer Wang等人发布论文,审计ChatGPT、Claude和Gemini共七套系统在九项基准(涵盖通用能力、社会偏见与谄媚性)上的表现,报告API评测与对应聊天界面之间存在系统性差异:API评测平均准确率高3.4个百分点,测试重测一致性高2.1个百分点。 对ChatGPT而言,访问方式造成的差异可与GPT 5.3和GPT 5.4之间的API性能差异相当。作者称,调整系统提示、采样参数和推理设置只能在部分情况下改变行为,未能可靠消除该差距。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
API基准分数难以可靠迁移到聊天机器人界面报道时间线
沿着报道,了解事件的不同侧面。
10月12日
- arXiv · cs.AIAPI基准分数难以可靠迁移到聊天机器人界面
Jennifer Wang等人审计ChatGPT、Claude和Gemini的七套系统及九项基准,发现API评测与对应聊天界面存在系统性差异。API评测平均准确率高3.4个百分点、测试重测一致性高2.1个百分点;对ChatGPT而言,访问方式造成的差异可与GPT 5.3和GPT 5.4之间的API性能差异相当。作者报告,调整系统提示、采样参数和推理设置只能在部分情况下改变行为,未能可靠消除该差距。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。