arXiv · cs.AI· Shivam Patel, Akaash R. Parthasarathy, Akash Dhasade, Ankur Mallick, Gauri Joshi·· 1 天前
BEA与BEAR：面向异构LLM池的延迟感知查询路由方法
Mind the Delay: Latency-aware Query Routing for Heterogeneous LLM pools
arXiv:2607.18253v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Shivam Patel, Akaash R. Parthasarathy, Akash Dhasade, Ankur Mallick, Gauri Joshi
研究任务与主要进展
作者提出BEA延迟估计器和BEAR延迟感知路由器，用于在异构大语言模型池中同时权衡准确性、成本与响应延迟。基于论文摘要，BEA通过重放服务的token批处理形成过程，纳入prefill与decode的计算、内存需求及批内查询竞争，预测首token时间的误差约为5%，单次预测约0.1毫秒；BEAR在七个基线上的目标响应效用平均提升63%，相对各到达率下最佳基线提升30.5%。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org