I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis
10 月 15 日，Meta Superintelligence Labs 发布并开放了 Muse Spark Open 的权重。以下内容均来自官方博客与 Hugging Face 技术博客，文末附来源。
一、事实要点（来自官方）
- 规模：约 816B 总参数，每 token 激活约 42B；原生多模态输入（文本、图像、音频、视频），输出文本；上下文窗口最长 1M tokens。
- 结构：62 层，hidden 8192；每个 MoE 层 256 个专家、每 token 路由 8 个；注意力为 GQA（128 个 query 头 / 16 个 KV 头），带 QK-norm。专家参数占总参数约 97%。
- 权重格式：BF16 与 NVFP4。BF16 checkpoint 约 1.5 TB；HF 博客称在 transformers 中 BF16 需要 4 个 8×H200 节点（TP=32），NVFP4 可跑在单个 B200 节点上。
- 本地运行：官方称借助 MLX，可在两台 M5 Ultra Mac Studio（每台最多 512 GB 统一内存）上运行。
- 许可：Muse Model License，官方表述为“有限商用条款”，不是 Apache/MIT 这类宽松许可。
- 生态：首发支持 SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp 等。
二、编辑部解读
1. “激活 42B”≠“42B 的部署成本”。MoE 的计算量按激活参数算，但显存要装下全部 816B 参数。所以它跑得像 42B，却要按 816B 准备内存——这也是 NVFP4 这类 4-bit 格式越来越重要的原因。
2. 对大多数团队，现实路径是 API 或托管推理，而不是自建。自建的门槛在于多机多卡互联和 1M 上下文下的 KV Cache，而不只是权重本身。
3. 商用前请逐条读许可证。“开放权重”和“开源许可”是两回事，本站开源板块的许可证速查帖可以参考：https://www.iaiforum.com/t/6
4. 官方 benchmark 是厂商自测。建议结合本站《不被榜单带节奏》清单（https://www.iaiforum.com/t/3）在自己的业务样本上复测。
三、English summary
Meta released open weights for Muse Spark Open (~816B total / ~42B active MoE, 256 experts with 8 routed, natively multimodal input, up to 1M context, BF16 and NVFP4 checkpoints, Muse Model License with limited commercial terms). Remember: MoE compute scales with active params, but memory scales with total params.
来源 Sources：
- Meta AI Research 官方博客：https://research.meta.ai/blog/muse-spark-open
- Hugging Face 技术博客：https://huggingface.co/blog/meta-muse-spark-open
讨论：如果要在业务里用这类超大 MoE 开放权重模型，你会选择自建、托管推理，还是继续用闭源 API？决定因素是成本、数据合规还是可定制性？
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
10 月 15 日，Meta Superintelligence Labs 发布并开放了 Muse Spark Open 的权重。以下内容均来自官方博客与 Hugging Face 技术博客，文末附来源。
一、事实要点（来自官方）
- 规模：约 816B 总参数，每 token 激活约 42B；原生多模态输入（文本、图像、音频、视频），输出文本；上下文窗口最长 1M tokens。
- 结构：62 层，hidden 8192；每个 MoE 层 256 个专家、每 token 路由 8 个；注意力为 GQA（128 个 query 头 / 16 个 KV 头），带 QK-norm。专家参数占总参数约 97%。
- 权重格式：BF16 与 NVFP4。BF16 checkpoint 约 1.5 TB；HF 博客称在 transformers 中 BF16 需要 4 个 8×H200 节点（TP=32），NVFP4 可跑在单个 B200 节点上。
- 本地运行：官方称借助 MLX，可在两台 M5 Ultra Mac Studio（每台最多 512 GB 统一内存）上运行。
- 许可：Muse Model License，官方表述为“有限商用条款”，不是 Apache/MIT 这类宽松许可。
- 生态：首发支持 SGLang、vLLM、TensorRT-LLM、Transformers、MLX、llama.cpp 等。
二、编辑部解读
1. “激活 42B”≠“42B 的部署成本”。MoE 的计算量按激活参数算，但显存要装下全部 816B 参数。所以它跑得像 42B，却要按 816B 准备内存——这也是 NVFP4 这类 4-bit 格式越来越重要的原因。
2. 对大多数团队，现实路径是 API 或托管推理，而不是自建。自建的门槛在于多机多卡互联和 1M 上下文下的 KV Cache，而不只是权重本身。
3. 商用前请逐条读许可证。“开放权重”和“开源许可”是两回事，本站开源板块的许可证速查帖可以参考：https://www.iaiforum.com/t/6
4. 官方 benchmark 是厂商自测。建议结合本站《不被榜单带节奏》清单（https://www.iaiforum.com/t/3）在自己的业务样本上复测。
三、English summary
Meta released open weights for Muse Spark Open (~816B total / ~42B active MoE, 256 experts with 8 routed, natively multimodal input, up to 1M context, BF16 and NVFP4 checkpoints, Muse Model License with limited commercial terms). Remember: MoE compute scales with active params, but memory scales with total params.
来源 Sources：
- Meta AI Research 官方博客：https://research.meta.ai/blog/muse-spark-open
- Hugging Face 技术博客：https://huggingface.co/blog/meta-muse-spark-open
讨论：如果要在业务里用这类超大 MoE 开放权重模型，你会选择自建、托管推理，还是继续用闭源 API？决定因素是成本、数据合规还是可定制性？
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）