Hugging Face Blog·· 15 小时前精选
Reflection 发布 Beam:501B 开源 MoE 模型,支持 100 万 token 上下文
Welcome Beam: a 501B open model you can own, customize, and scale
研究任务与主要进展
Reflection 在 Hugging Face 发布 Beam,这是其首个开放模型,采用 501B 参数的稀疏 MoE 架构,每个 token 激活约 23B 参数,支持文本输入、100 万 token 上下文和编码、Agent 场景。
阶段、条件与复现 · 深读核对
- 新能力对应什么具体任务与最小输入输出?
- 代码、模型、数据、许可与可用入口是否明确?
- 效果、总成本、失效条件与实际工作流如何验证?
这些是阅读核对问题;材料未说明的条件保留未知。请阅读原文核验。
本站判断
Beam 的主要增量是将 501B 参数规模、每 token 仅激活约 23B 参数的稀疏 MoE 架构与 1M token 上下文、推理保留和工具调用能力结合,并以 Apache 2.0 许可开放。其实际可用性取决于部署资源:所有专家仍需驻留内存,NVFP4 权重约 280GB,适合 Blackwell GPU;老于 Blackwell 的硬件需使用 FP8 检查点并承担更大的显存需求。
来源:Hugging Face Blog · huggingface.co