Doc2Harness 基准发布：评测编码代理长程 harness 工程能力

论文作者（Yuyao Ge 等）提出 Doc2Harness，一个两阶段确定性基准，直接评测大语言模型驱动的编码代理的长时程 harness 工程能力。据论文摘要，作者称这是首个用于衡量长时程 harness 工程的确定性基准。 评测覆盖 19 个前沿模型，每个模型在 328 个测试用例上进行 3 次独立构建。结果显示 GPT-6 Astra 通过率最高，为 53.05%，最弱模型为 27.44%；失败主要集中在跨模块功能的拆分。 以上结果基于论文摘要，材料未提供完整实验细节。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。