LLM-BabyBench：文本网格世界评测LLM规划能力

论文作者提出 LLM-BabyBench 基准，将 BabyAI 网格世界改造成纯文本、完全可观测的环境，通过 Predict、Plan、Decompose 三类任务分别评测语言模型的状态预测、目标规划与子目标分解能力。 对七个前沿与开源模型的零样本测试显示，所有模型的状态模拟能力都远强于规划能力，最强模型的模拟已接近饱和。规划失败主要由所需解的长度决定，四个最强模型都存在一个步数上限，超过后单次尝试的成功率骤降。 论文还观察到 claude-opus-4-6 和 claude-sonnet-4-6 在逐步展示推理时，采用提出 L 形走廊的方式进行规划。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。