TiGanEval基准评估智能体结果对齐能力

Kaiming Liu 等在论文中提出 TiGanEval 基准，用软件工程和研究任务测量智能体从部分指令及环境信息中推断真实需求的结果对齐（outcome alignment）能力。基于论文摘要，评测 8 个前沿模型（含 GPT-5.6-Sol）显示，从完整规格转为部分指令后，成功率下降 53 至 67 个百分点，四次提交的结果反馈也未弥合差距，作者称结果对齐能力普遍缺失。 作者还分析 SWE-chat 的 100 条用户-智能体轨迹，发现 56% 的初始指令遗漏了后来必需的要求，52% 的有用后续要求原本可从项目中推断，说明指令不完整是常见情形。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。