跳到正文
arXiv · cs.AI· Ruicheng Ao, Jing Dong, Gan Luo, David Simchi-Levi·· 1 天前

内存受限 LLM 服务中的服务诱发拥塞:离散时间动力模型与稳定性分析

Service-Induced Congestion in Memory-Constrained LLM Serving

arXiv:2606.15555v2阅读论文 PDF ↗

仅依据论文摘要整理;未读取全文,实验条件、证明与基准细节请核对原文。

作者:Ruicheng Ao, Jing Dong, Gan Luo, David Simchi-Levi

研究任务与主要进展

Ruicheng Ao 等建立内存受限 LLM 推理服务的离散时间动力模型;基于论文摘要,作者证明齐次负载下除零测度精确捕获集外,系统最终收敛到唯一最坏极限环,吞吐损失可达50%。在异质负载下,作者给出两类共同输入的稳定性判据,并指出输入主导缩放时互质解码长度可稳定无驱逐均衡,非互质长度则可能形成同步模式并导致不稳定。

阶段、条件与复现 · 深读核对

  • 新能力对应什么具体任务与最小输入输出?
  • 代码、模型、数据、许可与可用入口是否明确?
  • 效果、总成本、失效条件与实际工作流如何验证?

这些是阅读核对问题;材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。

来源:arXiv · cs.AI · arxiv.org