SWE-Prometheus:代码仓库工程治理基准
热点事件持续更新
SWE-Prometheus:代码仓库工程治理基准
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
论文作者(Jiajun Wu 等)发布 SWE-Prometheus 基准,评测编码智能体在真实代码仓库中的工程治理改进,要求其识别风险、确定干预优先级并验证变更。该基准包含 60 个仓库、覆盖六个治理维度;十个模型在 22 个仓库的公共子集上评测,平均归一化治理改进(NGI)为 0.0568 至 0.5760,行为破坏率为 0% 至 23%。 以下信息基于论文摘要,尚未核验全文。无操作对照组的中位 NGI 为 0(标准差 0.073),作为区分真实改进的基线;在冻结的十仓库批次上,仓库盲模板获得平均 NGI 0.272。作者称结果支持同时报告治理改进、行为保持、证据质量和覆盖范围四方面指标。
AI 根据报道生成 · 2 小时前更新
最新进展10月19日 12:00
SWE-Prometheus:评估真实代码仓库工程治理改进的基准报道时间线
沿着报道,了解事件的不同侧面。
10月19日
- arXiv · cs.AISWE-Prometheus:评估真实代码仓库工程治理改进的基准
SWE-Prometheus提出面向真实代码仓库工程治理改进的评测基准,要求编码智能体识别风险、确定干预优先级并验证变更。基于论文摘要,该基准覆盖六个治理维度、60个仓库;在22个仓库的公开子集上评测10个模型,平均归一化治理改进为0.0568至0.5760,行为破坏率为0%至23%。无操作条件的中位归一化治理改进为0,结果支持同时报告治理改进、行为保持、证据质量和覆盖范围。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月19日 15:00
- 近 24 小时变化
- –
02.557.510
15:0016:0017:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。