arXiv · cs.AI· Jingyu Tang, Xu Yang, Zhehao Zhang, Zheng Wang, Qi Cheng, Haozhe Zhao, Manling Li, Wenxuan Li, Xide Xia, Jiaxin Pei·· 1 天前
Realtime-Bench:前沿模型能否解决实时交互问题?
Realtime-Bench: Can Frontier Models Solve Real-time Interactive Problems?
arXiv:2610.22155v1阅读论文 PDF ↗
仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。
作者:Jingyu Tang, Xu Yang, Zhehao Zhang, Zheng Wang, Qi Cheng, Haozhe Zhao, Manling Li, Wenxuan Li, Xide Xia, Jiaxin Pei
研究任务与主要进展
论文提出Realtime-Bench,用于评测前沿模型在时间约束下感知动态环境并采取行动的能力,延迟动作会直接影响任务成功。基于论文摘要,在按实际推理延迟推进环境的Wall Clock设置下,最佳成功率为44%、Pass^3为36%;Paused Clock和Token Clock比较用于区分服务延迟与实时流式能力,结果显示时间成本限制成功率,而更高推理强度在时间压力下效果不一。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源:arXiv · cs.AI · arxiv.org