HDA协议拆解智能体Harness演化收益

Wenxuan Ding、Qin Lu 等作者在 arXiv 论文《Harness-Delta Attribution: Dissecting Gains From Harness Evolution》中提出 Harness-Delta Attribution（HDA）评估协议，将 Harness（智能体执行框架）演化带来的收益拆分为工件驱动的过拟合、测试时扩展收益，以及作为残余可泛化改进上界的剩余部分。 作者将 HDA 应用于 11 个执行模型和 3 个 harness 演化框架，覆盖数学、编码、创造性和智能体任务。论文称，在这 21 个设置中，过拟合和测试时扩展平均分别占收益的 54% 和 14%，二者合计在 14 个设置中超过 50%；搜索集上的收益常无法迁移到留出任务，且基于验证集的信号不足以防止过拟合。以上结果为论文作者声称，尚属论文摘要层面。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。