CodeWalk: 组合已有问题自动生成编码基准

Jiaxin Fang 等在 arXiv 论文 2610.15345 中提出 CodeWalk，把已验证的原子编程问题组合成新的基准任务，整个过程程序化完成，几乎不需要语言模型参与生成或验证。 任务按组合深度组织为 level-N，并要求所有原子问题均未被解决，且联合参考解通过评测时使用的同一检查，任务才会被保留。作者在多错误修复、证明补全、复杂度分析和克隆等价性四种编码场景中进行了实例化。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。