编码代理框架比较研究

Liu与Han比较五个模型在Claude Code、OpenCode和mini-SWE-agent上的SWE-bench Verified任务表现，称更复杂的框架消耗每个模型最精简选项两至三倍的令牌，但通过率差异通常不超过重复运行噪声，并未显示更高通过率；更换框架导致任务结果变化的中位比例为13%，更换模型为22%。 测试涵盖SWE-bench Verified中最难的45项任务及另外447项任务，均在离线环境运行；按其测量口径，447项任务足以可靠识别约5个百分点的通过率差距。结果限于所用模型、框架版本和该任务集，不能据此断定所有编码代理框架均无差异。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。