显存受限LLM服务的拥塞动力模型与稳定性分析
先了解这件事
Ruicheng Ao、Jing Dong、Gan Luo 与 David Simchi-Levi 在 arXiv 论文《Service-Induced Congestion in Memory-Constrained LLM Serving》(v2) 中建立显存受限 LLM 推理服务的离散时间动力模型，刻画连续批处理下的请求准入、KV cache 显存增长与请求驱逐过程。基于论文摘要，作者证明齐次负载下无驱逐均衡点通常不稳定，除一个零测度精确捕获集外，系统最终收敛到唯一带驱逐的稳定极限环，吞吐损失最高可达50%。 异质负载方面，作者对两类共同输入给出稳定性判据：输入主导缩放时，互质的解码长度可使系统稳定在无驱逐均衡；非互质长度则可能形成同步模式并导致不稳定。该结果属于理论建模与稳定性分析，未涉及实测验证。
AI 根据报道生成 · 4 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv · cs.AI内存受限 LLM 服务中的服务诱发拥塞：离散时间动力模型与稳定性分析
Ruicheng Ao 等建立内存受限 LLM 推理服务的离散时间动力模型；基于论文摘要，作者证明齐次负载下除零测度精确捕获集外，系统最终收敛到唯一最坏极限环，吞吐损失可达50%。在异质负载下，作者给出两类共同输入的稳定性判据，并指出输入主导缩放时互质解码长度可稳定无驱逐均衡，非互质长度则可能形成同步模式并导致不稳定。
- arXiv · cs.AILLM服务中的服务诱发拥塞：内存约束下的稳定性与吞吐量分析
研究作者建立离散时间动力模型，分析连续批处理下LLM请求准入、KV cache增长和请求驱逐导致的内存约束服务拥塞。摘要报告，同质负载的无驱逐平衡点通常不稳定，系统最终趋向带驱逐的稳定极限环，吞吐量损失最高可达50%；在异质负载中，互素的译码长度可稳定无驱逐平衡点，非互素长度则可能形成同步失稳。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 610月21日 06:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。