广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

【新闻解读·端侧语音】Hugging Face 博客详解 Phonon TTS:约 65/75 MB 端侧语音、Phonon 31m Apache-2.0 与 40m 非商用许可分界,对离线语音验收的工程启示

Started by IAI 编辑部 · 2026-11-09 10:08 北京时间 · 97 views · 1 replies
I IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis

日期:Hugging Face 官方博客标注 **Published November 5, 2026**,题为 *A Closer Look at Phonon TTS. Launching High-Quality On-Device Speech That Tops the Benchmarks.*(核实:https://huggingface.co/blog/phonon-tts )。这是一篇发布两周后的回访:Phonon 是可在用户设备上运行的小体积文本转语音模型,官博写它不需要服务器、也不需要网络,输入文本留在本地。定位不是再发一条「更好听」的云端语音新闻,而是把端侧语音的体积、后端覆盖、许可分界和公开榜口径摊开,方便工程上做验收。

一、事实要点(以 Hugging Face 官博为准;榜单与体积数字需自测)
- **产品形态**:Phonon 运行在用户自己的设备上;官博写「no server and no network」,输入文本留在本地。它基于 Pocket TTS 谱系,用 flow matching 生成音频;官博写训练初期数值不稳定,后来才在全部五种语言上得到可用结果。
- **体积与语言**:官博写两个体积大约 **65 MB** 和 **75 MB**,合计覆盖英语、法语、德语、西班牙语和葡萄牙语;内置超过 **100** 个语音,也可在 Gradium Studio 中创建自定义语音。官博还写它能处理电话号码、日期和代码这类其他 TTS 常出错的内容。
- **许可必须分列**:Phonon **31m** 说英语,许可为 **Apache 2.0**,官博写可以自由用于商业产品。Phonon **40m** 覆盖上述五种语言,官博写为非商用许可;同文又写「其他模型」为 **CC BY-NC**,非商用项目可免费使用,若要将这些模型用于商业,定价按用户数而不是按生成了多少语音。这是部署清单上的硬分界,不是脚注。
- **推理栈分成两条路**:官博介绍了专为 Phonon 编写的推理框架 **ptts**,目标是在多种设备上取得较好性能,并写明支持 10 种以上后端:CPU(Intel、Arm、WebAssembly),GPU(CUDA、Vulkan、Metal、WebGPU),以及 NPU(Apple Core ML、Snapdragon)。Phonon 也进入 🤗 Transformers(官博写从 **v5.21** 起),作为参考 PyTorch 实现:`ptts` 面向设备上的单路流式,Transformers 面向 GPU 吞吐(批处理、全图 `torch.compile`,例如大规模合成语音数据)。
- **Transformers 里的模型身份(官博示例代码)**:`gradium/phonon-31m-en`,类名为 `GradiumPhononTTSForConditionalGeneration`。官博示例打印的参数量为模型 **30,788,354**、音频分词器 **10,305,313**(以该页代码注释为准)。语音不是运行时再拿一段录音去编码,而是预先计算好的 speaker latents,仓库为 `gradium/phonon-voices`;音频 codec 在这里扮演类似分词器的角色,且官博写音频 tokenizer 以 decoder-only 方式提供。
- **自定义语音**:官博写可以在取得说话人同意后,从一段短录音克隆声音,或在 Gradium Studio 用文本描述一个新声音;然后下载语音文件,在设备上离线使用。
- **公开榜与下载量(均为官博陈述,需自测)**:对照 Hugging Face Open TTS Leaderboard。官博介绍该榜覆盖 23 种语言,评可懂度(输出的词错误率)、速度(逆实时率和首包音频时间)以及自然度(英语 UTMOS、韩语 KOMOS),并区分固定语音与声音克隆(克隆另有说话人相似度)。官博写:可懂度上 Phonon 在德语和西班牙语排第一,在其评估过的每种语言里都进入前三,旁边是体积可大到约 100 倍的模型;速度上,这些模型在 CPU 流式的 time-to-first-audio 基准中排在最前。官博还写发布后两周内下载超过 **200,000** 次。
- **运行位置**:官博写它可在手机、笔记本、单板计算机和浏览器标签页中运行;文中列举了 Watch / iPhone 离线、机器人角色语音、浏览器小游戏旁白等演示,以及 ExecuTorch、Node.js(Micdrop)和 Spaces 上的后续项目。这些是作者列举的演示,不是本站测评。

二、编辑部怎么看(偏工程)
1. **许可分界必须进法务/部署清单,而不是模型卡上的一行小字**:31m 的 Apache-2.0 与 40m / 其他模型的非商用(CC BY-NC)条款,决定能不能进商业产品。这和本站昨日解读 LeRobot 时对 G0.5 非商业许可的提醒是同一类闸门(https://www.iaiforum.com/t/173 ),不要一张表混报「开源了所以可以上线」。
2. **端侧 ≠ 自动可发布**:离线、低延迟、文本不出网是架构属性,不是成品保证。仍要验收:目标芯片上的首包延迟与实时率、内存占用、断网行为,以及电话号码 / 日期 / 代码的读法。长文 TTS 的词典、分段和归一化,本站已有讨论(https://www.iaiforum.com/t/170 );端侧量化掉点怎么测见 https://www.iaiforum.com/t/62 。
3. **`ptts` 与 Transformers 是两条 SLA**:单路设备推理和 GPU 批处理合成不能共用一张快慢表。选后端(CPU / GPU / NPU)时,要记录实际命中的实现,而不是只写「官方说支持 10 种以上」。可观测:https://www.iaiforum.com/t/73 ;成本:https://www.iaiforum.com/t/61 。
4. **公开榜是对照,不是采购承诺**:德语/西班牙语可懂度第一、评估语言前三、CPU 流式 TTFA 领先、两周 20 万次下载——均为官博陈述,换设备、换文本域、换语言必须自测。自然度指标(UTMOS / KOMOS)也不能替代业务侧的听感抽检。评测分层:https://www.iaiforum.com/t/88 、https://www.iaiforum.com/t/111 。
5. **自定义语音是权限面**:克隆需要说话人同意;语音文件(speaker latents)应像权重一样做版本与授权记录,不能把一段未授权录音当成可分发资产。工具/权限:https://www.iaiforum.com/t/77 。

三、English summary
On 2026-11-05 the Hugging Face blog published a closer look at Phonon TTS (verified). Phonon is a small on-device text-to-speech model that the authors say runs without a server or network. Two sizes are described at about 65 MB and 75 MB, covering English, French, German, Spanish and Portuguese, with 100+ built-in voices. Phonon 31m (English) is Apache 2.0 and described as usable in commercial products; Phonon 40m (five languages) is described as non-commercial, and the same post says the other models are CC BY-NC. Inference is split between a dedicated on-device runtime (ptts, 10+ CPU/GPU/NPU backends) and a Transformers implementation from v5.21 aimed at GPU throughput (`gradium/phonon-31m-en`). The authors report top-three intelligibility in every language they evaluated (first in German and Spanish), leading CPU-streaming time-to-first-audio, and more than 200,000 downloads in the first two weeks — treat these as upstream claims and re-measure. Takeaway: put the license split on the deploy sheet, version voice files and consent, and do not copy cloud-TTS SLAs onto an on-device path.

四、讨论问题
1. 若要上商业产品,你们会把许可检查卡在 **下载权重**,还是卡在 **部署审批**?31m 与 40m 会不会被当成「同一个 Phonon」混进发布单?
2. 端侧验收时,电话号码、日期和代码的读法有没有单独用例,还是只听几句日常句子?
3. 生产路径会先上 **ptts 单路设备推理**,还是先用 Transformers 做 GPU 批量合成?两条路径的 TTFA / 实时率有没有分列?
4. 自定义语音的同意记录和语音文件哈希,有没有像模型权重一样进产物清单?

来源 Sources
- Hugging Face Blog · A Closer Look at Phonon TTS(Published November 5, 2026):https://huggingface.co/blog/phonon-tts
- 官博示例模型卡:https://huggingface.co/gradium/phonon-31m-en
- 官博示例语音仓库:https://huggingface.co/gradium/phonon-voices
- 相关本站:长文 TTS 验收 https://www.iaiforum.com/t/170 · 端侧量化 https://www.iaiforum.com/t/62 · 开源语音选型 https://www.iaiforum.com/t/120 · LeRobot 许可分界对照 https://www.iaiforum.com/t/173 · 评测分层 https://www.iaiforum.com/t/88 · 自建评测 https://www.iaiforum.com/t/111 · 可观测 https://www.iaiforum.com/t/73 · 成本 https://www.iaiforum.com/t/61 · 工具/权限 https://www.iaiforum.com/t/77

欢迎贴(可脱敏)你们对端侧 TTS 的否决指标;官博体积、榜单与下载量需自测后再进发布门槛。

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
I IAI 编辑部 · 官方 Official
本帖昨日发布后暂无跟帖,编辑部补一条讨论引导,方便对照端侧 TTS 的验收字段:

1. **许可分界要进部署清单**:Phonon 31m 的 Apache-2.0 与 40m / 其他模型的非商用(CC BY-NC)条款,不能混成「同一个 Phonon 已开源」。对照:楼主正文与来源 https://huggingface.co/blog/phonon-tts 。
2. **电话号码、日期和代码的读法应单独建用例**,不要只听几句日常句子就算过。长文 TTS 验收:https://www.iaiforum.com/t/170 。
3. **ptts 单路设备推理与 Transformers GPU 批量合成要分列 TTFA / 实时率**,不要共用一张快慢表。可观测:https://www.iaiforum.com/t/73 。

欢迎贴(可脱敏)你们对端侧语音的否决指标;官博体积、榜单与下载量需自测后再进发布门槛。

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.