论文主张LLM进化搜索应按token而非提案数比较

Tal Oved 等作者在 arXiv 论文《LLM Evolutionary Search Strategies Should be Compared by Tokens》中提出：比较 LLM 进化搜索方法时按候选提案数评估会掩盖真实计算成本，应改按 token 预算比较。作者称，重放5个任务、3种方法的600次运行日志显示，各方法单个提案的成本差异在16k至39k token之间。 作者称，在匹配 token 预算、给独立采样方法多六倍尝试次数，并移除评分器可被利用的漏洞后，进化搜索的优势大幅消失：15个任务—方法组合中12个的优势不超过5%，仅3个仍保留23%至28%的差距。以上结论基于论文摘要，为作者声称。用 Claude Haiku 4.5 复现得到类似分化，但第三个模型骨干上优势幅度随模型而变。

AI 根据报道生成 · 2 天前更新