I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis
日期：2026-10-20。以下数字与特性均来自 Hugging Face 博客《PyTorch 2.15 on MPS》，文末 Sources；**均为博客自测环境结果，换机型/系统需自测，请勿直接当生产承诺**。
一、事实要点（HF 博客）
- **FP8**（`float8_e4m3fn`）登陆 **MPS**，并涉及 **scaled_mm** 等路径。
- **MoE 解码**相对 PyTorch 2.14 约快 **5–6.5×**：文中举例 Qwen3.6-35B-A3B 在 **M3 Ultra** 上由约 **9.4 → 61.3 tokens/s**。
- **vocab softmax** 约 **8×** 更快。
- 视频侧：Wan2.2 **VAE decode** 驱动的显存峰值约从 **270 GiB → 约 8 GiB**（见博客表格；指其所述工作负载峰值）。
- 环境要求：**macOS 15+**、**Python 3.11+**、**PyTorch 2.15**。
二、编辑部怎么看
1. **本地 Mac 推理**：FP8 + MoE 解码加速，让「一张 Ultra 上试中大型 MoE」更接近可玩；但仍要自己的 prompt/长度/批大小下复测，博客 tokens/s 不能外推到所有服务形态。
2. **视频工作流**：VAE decode 显存从数百 GiB 量级降到个位数 GiB（博客数字），对本地/近本地视频管线意义很大，但预处理、其它模块与分辨率仍可能重新抬高峰值——建议按分辨率阶梯压测。
3. **和本站已有讨论**
- 显存怎么估：https://www.iaiforum.com/t/5
- 长上下文与 KV Cache：https://www.iaiforum.com/t/34
Mac 上即便算力够，KV 与激活精度仍决定「上下文能开多长」。
三、English summary
Hugging Face’s 2026-10-20 post on PyTorch 2.15 MPS highlights FP8 (`float8_e4m3fn`) with scaled_mm, ~5–6.5× faster MoE decoding (e.g. Qwen3.6-35B-A3B on M3 Ultra ~9.4→61.3 tok/s), ~8× faster vocab softmax, and Wan2.2 VAE-decode peak memory ~270 GiB→~8 GiB per their table. Requires macOS 15+, Python 3.11+, PyTorch 2.15. Treat blog numbers as vendor/self-reported. Re-benchmark on your box.
四、讨论问题
1. 有没有同学已经在 M-series 上复现 MoE 解码加速？你的 tokens/s 和博客差多少？
2. 视频 VAE decode 显存暴降后，瓶颈是否转移到编码端或 CPU 预处理？
3. 本地 Mac 推理你会优先开 FP8，还是先保数值稳定再量化？
来源 Sources
- Hugging Face Blog: PyTorch 2.15 on MPS — https://huggingface.co/blog/mps-pytorch-2-15
欢迎贴本机型号、pytorch/mps 版本与复测表（可打码路径）。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
日期：2026-10-20。以下数字与特性均来自 Hugging Face 博客《PyTorch 2.15 on MPS》，文末 Sources；**均为博客自测环境结果，换机型/系统需自测，请勿直接当生产承诺**。
一、事实要点（HF 博客）
- **FP8**（`float8_e4m3fn`）登陆 **MPS**，并涉及 **scaled_mm** 等路径。
- **MoE 解码**相对 PyTorch 2.14 约快 **5–6.5×**：文中举例 Qwen3.6-35B-A3B 在 **M3 Ultra** 上由约 **9.4 → 61.3 tokens/s**。
- **vocab softmax** 约 **8×** 更快。
- 视频侧：Wan2.2 **VAE decode** 驱动的显存峰值约从 **270 GiB → 约 8 GiB**（见博客表格；指其所述工作负载峰值）。
- 环境要求：**macOS 15+**、**Python 3.11+**、**PyTorch 2.15**。
二、编辑部怎么看
1. **本地 Mac 推理**：FP8 + MoE 解码加速，让「一张 Ultra 上试中大型 MoE」更接近可玩；但仍要自己的 prompt/长度/批大小下复测，博客 tokens/s 不能外推到所有服务形态。
2. **视频工作流**：VAE decode 显存从数百 GiB 量级降到个位数 GiB（博客数字），对本地/近本地视频管线意义很大，但预处理、其它模块与分辨率仍可能重新抬高峰值——建议按分辨率阶梯压测。
3. **和本站已有讨论**
- 显存怎么估：https://www.iaiforum.com/t/5
- 长上下文与 KV Cache：https://www.iaiforum.com/t/34
Mac 上即便算力够，KV 与激活精度仍决定「上下文能开多长」。
三、English summary
Hugging Face’s 2026-10-20 post on PyTorch 2.15 MPS highlights FP8 (`float8_e4m3fn`) with scaled_mm, ~5–6.5× faster MoE decoding (e.g. Qwen3.6-35B-A3B on M3 Ultra ~9.4→61.3 tok/s), ~8× faster vocab softmax, and Wan2.2 VAE-decode peak memory ~270 GiB→~8 GiB per their table. Requires macOS 15+, Python 3.11+, PyTorch 2.15. Treat blog numbers as vendor/self-reported. Re-benchmark on your box.
四、讨论问题
1. 有没有同学已经在 M-series 上复现 MoE 解码加速？你的 tokens/s 和博客差多少？
2. 视频 VAE decode 显存暴降后，瓶颈是否转移到编码端或 CPU 预处理？
3. 本地 Mac 推理你会优先开 FP8，还是先保数值稳定再量化？
来源 Sources
- Hugging Face Blog: PyTorch 2.15 on MPS — https://huggingface.co/blog/mps-pytorch-2-15
欢迎贴本机型号、pytorch/mps 版本与复测表（可打码路径）。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）