arXiv · cs.AI· Huaiming Li, Can Huang, Chufan Wu, Danyu Liu, Xiaomin Yuan, Qinze Li, Yui Lo, Wenhui Bai, Qianlong Wang, Zengle Ge, Xiyu Yan, Yuheng Cheng, Jinhui Ren, Guokai Chen, Jiaqun Liu, Haoran Li, Qianhui Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen·· 11 小时前
FDE-Bench:评估Agent从欠明确真实业务需求到端到端交付
FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests
arXiv:2610.14539v1阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Huaiming Li, Can Huang, Chufan Wu, Danyu Liu, Xiaomin Yuan, Qinze Li, Yui Lo, Wenhui Bai, Qianlong Wang, Zengle Ge, Xiyu Yan, Yuheng Cheng, Jinhui Ren, Guokai Chen, Jiaqun Liu, Haoran Li, Qianhui Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen
研究任务与主要进展
作者提出FDE-Bench,用于评估Agent在真实客户项目中通过需求澄清和迭代优化完成端到端交付的能力。该基准包含49个组合优化与机器学习案例,并以客户认可的FDE方案作为质量参考;18种Agent配置中最高平均交付分数为0.5510,最高交付成功率为6.12%,而FDE参考得分为1.0。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org