跳到正文
热点事件持续更新

论文审计:API基准分数难以可靠迁移到聊天界面

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Jennifer Wang等人发布论文,审计ChatGPT、Claude和Gemini共七套系统在九项基准(涵盖通用能力、社会偏见与谄媚性)上的表现,报告API评测与对应聊天界面之间存在系统性差异:API评测平均准确率高3.4个百分点,测试重测一致性高2.1个百分点。 对ChatGPT而言,访问方式造成的差异可与GPT 5.3和GPT 5.4之间的API性能差异相当。作者称,调整系统提示、采样参数和推理设置只能在部分情况下改变行为,未能可靠消除该差距。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv · cs.AI
    API基准分数难以可靠迁移到聊天机器人界面

    Jennifer Wang等人审计ChatGPT、Claude和Gemini的七套系统及九项基准,发现API评测与对应聊天界面存在系统性差异。API评测平均准确率高3.4个百分点、测试重测一致性高2.1个百分点;对ChatGPT而言,访问方式造成的差异可与GPT 5.3和GPT 5.4之间的API性能差异相当。作者报告,调整系统提示、采样参数和推理设置只能在部分情况下改变行为,未能可靠消除该差距。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。