Anthropic量化智能体编码评测中的基础设施噪声
Anthropic发现，基础设施资源配额可使Terminal-Bench 2.0成功率相差6个百分点，说明智能体编码评测分数会混入运行环境因素。实验保持同一Claude模型、评测框架和任务集，仅改变资源配置；资源余量从严格限制提升至无上限时，基础设施错误率由5.8%降至0.5%，总成功率提高6个百分点，但在3倍余量内分数变化处于噪声范围。
本站判断：Anthropic通过Terminal-Bench 2.0和SWE-bench对照实验说明，资源配置会改变智能体编码评测结果，并给出控制评测变量的具体做法。