论文提出TWP令牌级调度框架提升无服务器LLM推理吞吐

Hardi Ashishbhai Desai、Balaji N K 和 Sourav Kanti Addya 在 arXiv 论文摘要中提出 Token Window Pacing（TWP），一个面向无服务器 LLM 推理的令牌级闭环调度框架，通过运行时反馈调节请求准入。 作者动机是：LLM 推理包含计算密集的 prefill 阶段和带宽受限的 decode 阶段，准入新请求会干扰正在进行的解码并增加延迟。论文摘要中的实验结果显示，在真实无服务器工作负载上，TWP 提供稳定的 TTFT、降低延迟尖峰和 P99 尾延迟、减小 ITL 波动，吞吐量较 ServerlessLLM 提升最高 45%，较常规调度器提升 58%。以上均为作者声称的实验结果，基于论文摘要。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。