arXiv · cs.AI· Ro Encarnaci\'on, Tina Behzad, Emma Lurie, Dana\'e Metaxa·· 5 小时前
大语言模型评测中的模态、搜索、引用与安全影响分析
What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)
arXiv:2608.06202v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Ro Encarnaci\'on, Tina Behzad, Emma Lurie, Dana\'e Metaxa
研究任务与主要进展
该研究基于BBQ和SafetyBench的401个提示，比较ChatGPT聊天界面与OpenAI API在有无网页搜索时的安全评测结果，共收集4,812次响应。作者报告，启用搜索后准确率最多下降8个百分点，同一提示重复运行最高有21%出现不一致，且两种模态的引用依据和拒答行为也不同，表明仅报告准确率可能掩盖安全评估中的行为变化。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org