CoBe基准：测模型对话式反事实文本编辑，前沿模型平均58.05%

Arvind Raghavan 等作者在 arXiv 发布 CoBe（Counterfactual Benchmark），用于评估模型以自然对话方式对给定文本场景进行反事实编辑的零样本能力。基准含2000个问题，覆盖医疗、科学与工程、商业和日常场景。 基于论文摘要的测试结果显示，前沿模型平均得分为58.05%。实验发现模型常生成与改变后条件相关、但未保持原场景因果结构的内容，且性能随模型规模或输出长度的变化不稳定。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。