JockeyBench：LLM Agent赛马重复决策基准，平均均亏损

香港科大Zhongwei Xie等作者发布论文（基于论文摘要），提出JockeyBench基准与评估协议，用日本历史赛马的重复事件预测检验LLM Agent从噪声证据中提取信号并持续调整预测的能力。协议包含时间门控证据、定价工具、配对冻结程序和两种工作流。 在324场比赛、28种模型—脚手架配置上，配对检验经多重检验校正后发现7项修订收益和2项修订下降；但摘要称所有配置在封顶Kelly结算下的平均利润均为负。四模型比较中，可复用程序工作流的平均投注利润更高、研究费用更低，但两种工作流平均仍然亏损。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。