发布用国际象棋谜题评估提示优化的基准

imec-ailabs 研究团队（Meta 等）在 arXiv 发布 Automatic Prompt Optimization with Chess 基准：用 1,118 道 Lichess 谜题，在不更新模型权重（冻结权重）的条件下评估大语言模型自动提示优化（APO），比较了 6 种 APO 算法在 8 个目标模型上的表现，并开源了谜题、优化与评测代码及数据集更新脚本。 论文称该基准有难度：即便最强的被评测模型 Gemini 3.5 Flash（同时用作元模型）也只能解出约 55% 的谜题。作者还给出完整研究的运行成本约 800 美元，作为低成本可复现的依据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。