FluidPD：面向SLO的预填充—解码分离式LLM服务原地弹性调度

FluidPD提出一种面向SLO的预填充—解码分离式LLM服务系统，通过临时卸载部分预填充计算和原地重分配工作节点角色来应对负载失衡。 基于论文摘要，在生产Azure工作负载上，相比静态SGLang，整体SLO达成率最高提升94.6个百分点；具体实验细节仍需阅读全文核验。

AI 根据报道生成 · 15 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。