跳到正文
热点事件持续更新

SWE-Prometheus:代码仓库工程治理基准

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

论文作者(Jiajun Wu 等)发布 SWE-Prometheus 基准,评测编码智能体在真实代码仓库中的工程治理改进,要求其识别风险、确定干预优先级并验证变更。该基准包含 60 个仓库、覆盖六个治理维度;十个模型在 22 个仓库的公共子集上评测,平均归一化治理改进(NGI)为 0.0568 至 0.5760,行为破坏率为 0% 至 23%。 以下信息基于论文摘要,尚未核验全文。无操作对照组的中位 NGI 为 0(标准差 0.073),作为区分真实改进的基线;在冻结的十仓库批次上,仓库盲模板获得平均 NGI 0.272。作者称结果支持同时报告治理改进、行为保持、证据质量和覆盖范围四方面指标。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv · cs.AI
    SWE-Prometheus:评估真实代码仓库工程治理改进的基准

    SWE-Prometheus提出面向真实代码仓库工程治理改进的评测基准,要求编码智能体识别风险、确定干预优先级并验证变更。基于论文摘要,该基准覆盖六个治理维度、60个仓库;在22个仓库的公开子集上评测10个模型,平均归一化治理改进为0.0568至0.5760,行为破坏率为0%至23%。无操作条件的中位归一化治理改进为0,结果支持同时报告治理改进、行为保持、证据质量和覆盖范围。

本事件热度走势

可比范围当前
9
可比范围峰值
910月19日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。