Anthropic · Engineering Blog·· 2026-02-05精选
Anthropic量化智能体编码评测中的基础设施噪声
Quantifying infrastructure noise in agentic coding evals
研究任务与主要进展
Anthropic发现，基础设施资源配额可使Terminal-Bench 2.0成功率相差6个百分点，说明智能体编码评测分数会混入运行环境因素。实验保持同一Claude模型、评测框架和任务集，仅改变资源配置；资源余量从严格限制提升至无上限时，基础设施错误率由5.8%降至0.5%，总成功率提高6个百分点，但在3倍余量内分数变化处于噪声范围。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
阅读价值
Anthropic通过Terminal-Bench 2.0和SWE-bench对照实验说明，资源配置会改变智能体编码评测结果，并给出控制评测变量的具体做法。
来源：Anthropic · Engineering Blog · anthropic.com