论文审计 ChatGPT UI 与 API 在安全基准上的行为差异
热点事件持续更新
论文审计 ChatGPT UI 与 API 在安全基准上的行为差异
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Ro Encarnación 等发布论文，比较 ChatGPT 聊天界面与 OpenAI API 在 BBQ 和 SafetyBench 两个基准上的安全评测表现。研究从两个基准分层抽取 401 个提示，每种设置每提示重复运行三次，共收集 4,812 次响应。 作者报告：启用网页搜索后准确率最多下降 8 个百分点，且对一个基准甚至逆转了模态间性能趋势的方向；同一提示重复运行中最高有 21% 的提示出现不一致响应。两种模态的引用依据和拒答行为也存在差异。 作者称这些结果表明仅报告准确率可能掩盖安全评估中的行为变化。以上为论文作者声称，基于论文摘要。
AI 根据报道生成 · 3 小时前更新
最新进展10月12日 12:00
大语言模型评测中的模态、搜索、引用与安全影响分析报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · cs.AI大语言模型评测中的模态、搜索、引用与安全影响分析
该研究基于BBQ和SafetyBench的401个提示，比较ChatGPT聊天界面与OpenAI API在有无网页搜索时的安全评测结果，共收集4,812次响应。作者报告，启用搜索后准确率最多下降8个百分点，同一提示重复运行最高有21%出现不一致，且两种模态的引用依据和拒答行为也不同，表明仅报告准确率可能掩盖安全评估中的行为变化。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月12日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。