CMU团队提出BEA延迟估计器与BEAR路由器优化LLM查询路由
热点事件观察中
CMU团队提出BEA延迟估计器与BEAR路由器优化LLM查询路由
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
Shivam Patel 等作者发布论文，提出BEA延迟估计器和BEAR延迟感知路由器，用于在异构大语言模型池中同时权衡准确性、成本与响应延迟。 BEA通过重放服务的token批处理形成过程，纳入prefill与decode的计算、内存需求及批内查询竞争，预测新到查询的首token时间（TTFT），误差约5%，单次预测约0.1毫秒，可运行在关键路由路径上。作者称BEAR在七个基线上，按目标时限内交付的响应效用平均较现有延迟感知路由器提升63%，较各到达率下最佳基线提升30.5%。以上数字基于论文摘要。
AI 根据报道生成 · 1 天前更新
最新进展10月16日 12:00
BEA与BEAR：面向异构LLM池的延迟感知查询路由方法报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- arXiv · cs.AIBEA与BEAR：面向异构LLM池的延迟感知查询路由方法
作者提出BEA延迟估计器和BEAR延迟感知路由器，用于在异构大语言模型池中同时权衡准确性、成本与响应延迟。基于论文摘要，BEA通过重放服务的token批处理形成过程，纳入prefill与decode的计算、内存需求及批内查询竞争，预测首token时间的误差约为5%，单次预测约0.1毫秒；BEAR在七个基线上的目标响应效用平均提升63%，相对各到达率下最佳基线提升30.5%。
本事件热度走势
- 可比范围当前
- 4
- 可比范围峰值
- 910月16日 15:00
- 近 24 小时变化
- -51%
02.557.510
18:0010月17日06:0012:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。