arXiv · cs.AI· Yibin Luo, Shiwei Gao, Huichuan Zheng, Youyou Lu, Jiwu Shu·· 1 天前
RoundPipe：在多张消费级 GPU 上实现近零气泡的大语言模型高效训练
Efficient Training on Multiple Consumer GPUs with RoundPipe
arXiv:2604.27085v2阅读论文 PDF ↗
仅依据论文摘要整理；未读取全文，实验条件、证明与基准细节请核对原文。
作者：Yibin Luo, Shiwei Gao, Huichuan Zheng, Youyou Lu, Jiwu Shu
研究任务与主要进展
RoundPipe通过将GPU作为无状态执行工作池并以轮询方式动态调度计算阶段，缓解消费级GPU训练中的权重绑定、显存限制和PCIe通信瓶颈，论文摘要报告其可实现近零气泡流水线。作者在8张RTX 4090服务器上报告，微调1.7B至32B模型相对现有基线获得1.48—2.16倍加速，并支持单服务器上Qwen3-235B的LoRA微调与31K序列长度；RoundPipe已作为Python库开源。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请结合上方论文版本、资料范围与原文核验。
来源：arXiv · cs.AI · arxiv.org