arXiv · cs.AI· Li Kong, Qi Qi, Yinyu Ye, Zijie Zhou·· 1 天前
LLM服务中的几何感知在线调度：SVF从理论界到系统实践
Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice
arXiv:2606.22327v3阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Li Kong, Qi Qi, Yinyu Ye, Zijie Zhou
研究任务与主要进展
研究者提出几何感知在线调度算法Smallest Volume First（SVF）及高效变体1-bit SVF，用于应对LLM服务中动态键值缓存的二维时空几何增长；在高并发设定下，作者报告SVF的最坏情况近似比接近3，优于此前48的常数。方法被集成到vLLM，并在Llama-3.1模型评测中显示出平均延迟、尾延迟和吞吐改善，代码已公开，但摘要未说明具体实验细节。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org