SWE-Nexus 软件工程任务自动构建基准发布

SWE-Nexus 作者团队发布论文，提出从测试执行自动构造仓库级软件工程任务的流水线，由四个构造智能体选择测试、调整追踪与评估协议并生成行为规范。 材料称，该基准包含来自 105 个仓库、覆盖六种编程语言的 600 个任务，其中 116 个为原子任务、484 个为组合任务。在 12 个模型和三种智能体脚手架的评估中，最佳配置单次解决率为 37.8%，并采用范围加权评分衡量部分完成度。 以上结果基于论文摘要。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。