清华团队开源低成本预训练方案Puro-2B，约4400美元训出2B模型
热点事件持续更新
清华团队开源低成本预训练方案Puro-2B，约4400美元训出2B模型
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
清华大学陈文光、吕鲲团队（thu-pacman）发布了全流程开源的低成本预训练方案 Puro-2B，公开了训练数据、训练框架、训练配置和模型权重。他们在消费级 RTX 5090 显卡集群上从零预训练约 2B 参数的模型，最多使用 1.4 万亿 tokens。 论文报告：预训练计算成本约 4400 美元的版本，在 15 项任务的平均指标上超过 Qwen2-1.5B；成本约 6900 美元的最佳版本平均性能接近 Qwen2.5-1.5B。团队还报告 FP8 相比 BF16 的验证损失高约 0.0031—0.0039。
AI 根据报道生成 · 5 小时前更新
最新进展10月16日 08:00
清华大学团队开源 Puro-2B：以约4400美元完成2B模型预训练报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- 36Kr Europe · English清华大学团队开源 Puro-2B：以约4400美元完成2B模型预训练
清华大学陈文光、吕凯峰团队在 RTX 5090 计算集群上从零预训练约 2B 参数的 Puro-2B，最多使用 1.4 万亿 tokens；论文报告其约 4400 美元的训练版本在 15 项任务的平均指标上超过 Qwen2-1.5B，约 6900 美元的版本接近 Qwen2.5-1.5B。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 910月16日 12:00
- 近 24 小时变化
- –
02.557.510
12:0013:0014:0015:0016:0017:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。