Quanta Magazine· John Pavlus·· 3 小时前
Moritz Hardt：让AI基准成为科学而非黑暗艺术
He Wants AI Benchmarking To Be a Science, Not a Dark Art
研究任务与主要进展
计算机科学家Moritz Hardt在《The Emerging Science of Machine Learning Benchmarks》中主张，AI基准的绝对分数并不可靠，但模型间的相对排名在共享训练条件下仍较稳定。随着大语言模型可能针对特定基准进行后训练，这种“偶然的”排名稳定性正在减弱；他提出让模型接受统一的“海拔训练”，以改善基准比较。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
来源：Quanta Magazine · quantamagazine.org