论文提出LLM推理并行的吞吐-延迟权衡分析框架

Javad Mirzaei 与 Jeebak Mitra 在 arXiv 发布论文《Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off》，提出刻画 LLM 推理并行配置吞吐—延迟权衡的系统框架。以下仅基于论文摘要。 研究通过构建不同工作负载组成下的 TTFT-ITL 可行集和 Pareto 前沿，引入“并行运行区域”概念，涵盖 SLO 感知服务与长上下文可扩展性分析。 论文称：prefill 负载增加时，配置倾向由 TP 主导转向 PP 主导；严格的 TTFT 要求更有利于 PP 配置；长上下文场景下 PP 主导配置呈现更有利的扩展性和 SLO 达成表现。这些为论文摘要中的作者说法，尚非独立验证结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。