跳到正文
热点事件观察中

VibeTraining-Bench:评估智能体跨训练组件协同改进能力的基准

2 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

Ruotian Peng 等作者发布基准 VibeTraining-Bench,评估研究智能体在固定资源预算下协同改进训练数据、训练器和推理框架的能力,任务覆盖终端操作、软件工程、多轮工具使用和数学推理。每个任务中,研究智能体从相同的初始智能体系统出发,依据验证反馈迭代改进。代码与数据已在 GitHub 公开。 论文称,为防止 reward hacking,基准设置了三项防护:测试数据隔离、研究与评分容器分离、以及限制研究智能体的网络访问。示例结果中,论文称在 SWE-bench Verified 上,GPT-6-Astra 将目标智能体系统性能从 32.9% 提升到 53.7%,接近人类开发的 instruct 模型的 55.4%;该数字为作者报告结果。

AI 根据报道生成 · 1 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. arXiv · cs.AI
    VibeTraining-Bench:面向迭代式系统改进的数据—训练器—推理框架协同设计基准

    VibeTraining-Bench 提出一种评估代理系统跨组件协同优化能力的基准,覆盖终端操作、软件工程、多轮工具使用和数学推理任务;研究代理在固定资源预算下依据验证反馈迭代改进数据、训练器和推理框架。

  2. arXiv · cs.AI
    VibeTraining-Bench:评估智能体数据、训练器与推理框架协同优化的基准

    作者提出VibeTraining-Bench,用于评估研究智能体在固定资源预算下协同改进训练数据、训练器和推理框架的能力,覆盖终端操作、软件工程、多轮工具使用和数学推理任务。

本事件热度走势

可比范围当前
3
可比范围峰值
610月21日 06:00
近 24 小时变化
-49%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。