arXiv · cs.AI· Arvind Raghavan, Inwoo Hwang, Shreyas Havaldar, Kai-Zhan Lee, Aurghya Maiti, Yushu Pan, Jeffrey Wu, Mingxuan Li, Elias Bareinboim·· 5 小时前
CoBe：对话式反事实文本编辑基准
CoBe: A Benchmark For Conversational Counterfactual Text Editing
arXiv:2610.13057v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Arvind Raghavan, Inwoo Hwang, Shreyas Havaldar, Kai-Zhan Lee, Aurghya Maiti, Yushu Pan, Jeffrey Wu, Mingxuan Li, Elias Bareinboim
研究任务与主要进展
作者推出CoBe，用于评估模型以自然对话方式对给定文本进行反事实编辑的零样本能力。基准包含2000个覆盖医疗、科学与工程、商业和日常场景的问题，摘要报告前沿模型平均得分为58.05%。实验显示，模型经常生成与改变后条件相关但未保持原场景因果结构的内容，且性能不稳定地随模型规模或输出长度变化。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org