论文提出RealtimeBench基准与TORSI自我改进方法评测实时LLM智能体
先了解这件事
Ningxin Pan等作者在论文中提出RealtimeBench基准和TORSI自我改进方法，用于评测并提升实时环境中的LLM智能体。基于论文摘要，该基准包含六类游戏、180项任务，在推理过程中游戏持续运行，以评估推理和工具调用延迟对持续运行智能体的影响。 基准比较三种时钟设置：Wall Clock下环境按实际推理延迟推进，最佳成功率仅44%、Pass^3仅36%；Paused Clock去除推理延迟作为理想化参照，Token Clock用于进一步区分服务延迟与模型实时流式能力。作者称，结果显示时间成本限制成功率，而更高推理强度在时间压力下效果不一。 TORSI（Two-Timescale Offline Recursive Self-Improvement）采用双时间尺度设计：慢速teacher在两轮尝试之间的暂停游戏中分析失败并测试修正，然后为快速student写出可复用的指令。作者称，两轮改进使Jev在0–100进度量表上的平均测试分数从13.51升至24.19，六类游戏全部提升。该结果为作者声称，尚待独立验证。
AI 根据报道生成 · 1 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv · cs.AIRealtime-Bench：前沿模型能否解决实时交互问题？
论文提出Realtime-Bench，用于评测前沿模型在时间约束下感知动态环境并采取行动的能力，延迟动作会直接影响任务成功。基于论文摘要，在按实际推理延迟推进环境的Wall Clock设置下，最佳成功率为44%、Pass^3为36%；Paused Clock和Token Clock比较用于区分服务延迟与实时流式能力，结果显示时间成本限制成功率，而更高推理强度在时间压力下效果不一。
- arXiv · cs.AIRealtimeBench与TORSI：评测并提升实时环境中的LLM智能体
基于论文摘要，作者提出包含六类游戏、180项任务的RealtimeBench，用于评估推理和工具调用延迟对持续运行智能体的影响，并提出TORSI双时间尺度离线递归自我改进方法。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1010月16日 13:00
- 近 24 小时变化
- -49%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。