36Kr Europe · English·· 10 小时前
清华大学团队开源 Puro-2B：以约4400美元完成2B模型预训练
Even small teams can conduct pre-training, Puyu 2B: the training cost on RTX 5090 is less than 5090 USD
研究任务与主要进展
清华大学陈文光、吕凯峰团队在 RTX 5090 计算集群上从零预训练约 2B 参数的 Puro-2B，最多使用 1.4 万亿 tokens；论文报告其约 4400 美元的训练版本在 15 项任务的平均指标上超过 Qwen2-1.5B，约 6900 美元的版本接近 Qwen2.5-1.5B。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出？
- 代码、模型、数据、许可与可用入口是否明确？
- 效果、总成本、失效条件与实际工作流如何验证？
这些是阅读核对问题；材料未说明的条件保留未知。请阅读原文核验。
来源：36Kr Europe · English · eu.36kr.com