arXiv · cs.AI· Javad Mirzaei, Jeebak Mitra·· 4 小时前
LLM推理并行化研究分析吞吐与延迟权衡
Scaling LLM Inference via Parallelism: Throughput-Latency Trade-off
arXiv:2610.19405v1阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Javad Mirzaei, Jeebak Mitra
研究任务与主要进展
作者提出一个分析LLM推理并行化的系统框架，用于刻画不同工作负载、延迟约束和上下文长度下的吞吐—延迟权衡。基于论文摘要，研究构建TTFT-ITL可行集和Pareto前沿，指出prefill负载增加时配置倾向由TP主导转向PP主导；严格的TTFT要求更有利于PP配置，而在长上下文场景下PP主导配置呈现出更有利的扩展性和SLO达成表现。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org