论文研究用饱和基准任务转录预测模型未饱和能力

1. 12:00
   arXiv · cs.AI

   AI模型能力评估：利用饱和基准的任务转录

   该论文研究在AI基准分数趋于饱和后，能否利用模型正确解题的任务转录预测其未饱和能力。基于历史基准和模型发布进行回溯模拟后，成对评判在所评估协议中表现最佳，预测误差较仅使用饱和基准分数的基线降低5.3倍。结果显示推理和工具调用等转录通道包含能力信息，但方法在分布偏移下并不总能泛化，可能低估2025年初首批推理模型的能力。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。