Moritz Hardt提出让AI基准比较成为科学的路径

计算机科学家Moritz Hardt在《The Emerging Science of Machine Learning Benchmarks》中提出：AI基准的绝对分数并不可靠，但在共享训练条件下模型间的相对排名较为稳定。他称这种排名稳定性目前带有偶然性，随着大语言模型可能针对特定基准进行后训练，这种稳定性正在减弱。 为此Hardt提出让模型接受统一的“海拔训练”（一种统一的后训练条件），以改善不同模型在基准上的可比性，使基准评测更接近科学方法而非“黑暗艺术”。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。