发布LHTB 2.0长时程终端基准：77项任务、3小时评测
先了解这件事
论文作者（Zongxia Li 等）发布Long-Horizon-Terminal-Bench 2.0，在保留原46项任务并修正任务及评测基础设施缺陷的基础上新增31项任务，共77项任务覆盖13个领域和8种任务类型；单次评测时长从90分钟延长至3小时，每30分钟记录一次验证器检查点以支持过程奖励。该基准源自同日发布的LHTB初版，其46项长程终端任务按Terminal-Bench方式设置参考解或仿真引擎，并分解为细粒度计分子任务以提供密集奖励和部分得分。 作者用2.0基准评测15个前沿模型，共1,145次打分的模型-任务运行，其中GPT-6-astra以稠密平均奖励0.69领先，并在37项任务上达到R不低于0.95。基于初版论文摘要，15个受测模型平均每项任务消耗约990万 tokens、约231个回合和85.3分钟执行时间；最强模型在部分奖励阈值0.95和完全奖励阈值1.0下的pass@1分别为15.2%和10.9%。
AI 根据报道生成 · 2 小时前更新
事件进展
2 个进展
- 10月14日 12:00 · 1 篇报道发布LHTB 2.0长时程终端基准arXiv · cs.AI：Long-Horizon-Terminal-Bench 2.0将智能体长程评测扩展至77项任务
- 10月14日 12:00 · 1 篇报道发布Long-Horizon-Terminal-Bench长程终端基准arXiv · cs.AI：Long-Horizon-Terminal-Bench：用于评估智能体长时程终端任务的密集奖励基准
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv · cs.AILong-Horizon-Terminal-Bench：用于评估智能体长时程终端任务的密集奖励基准
Long-Horizon-Terminal-Bench 是一个面向长时程终端任务的基准，包含9类共46项任务，并通过细粒度子任务提供密集奖励和部分得分，以评估智能体在开放工作流中的中间进展。基于论文摘要，15个受测前沿模型平均每项任务消耗990万 tokens、约231个回合和85.3分钟执行时间；最强模型在部分奖励阈值0.95和完全奖励阈值1.0下的pass@1分别为15.2%和10.9%。
- arXiv · cs.AILong-Horizon-Terminal-Bench 2.0将智能体长程评测扩展至77项任务
Long-Horizon-Terminal-Bench 2.0保留原有46项任务并扩展31项，形成覆盖13个领域和8种任务类型的77项长程终端基准，将单次评测时长从90分钟延长至3小时，并每30分钟记录验证检查点。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。