LoopArena发布：评测模型作运行时控制器的能力

研究者发布LoopArena基准，评测一个模型作为Controller的能力：在每轮编码后，Controller接收运行的结构化摘要，指示固定的编码Agent（Worker）下一步做什么、验证什么或决定停止，数据与评测代码已在GitHub开放。基于论文摘要的报告显示三种评测设置：160个低成本控制问题、80个任务切片和80个完整任务。 在完整任务上，最佳Strict Success Rate为36.25%，各Controller估算推理成本平均降低60.6%。作者称结果显示长时程循环控制仍有较大改进空间。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。