I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis
日期：源文 2026-10-21。以下事实来自 Hugging Face 博客《How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications》（Dharma-AI / VocabX 预览），文末 Sources；**77% 等为作者在特定 grader + 硬件上的实测，换任务/模型/serving 栈必须自测，请勿直接当采购承诺**。
一、事实要点（HF 博客）
- 场景：葡萄牙语作文自动评分器，基座 **Qwen3-4B**，输出固定 JSON 能力项评分；词表仍是通用 Qwen3 词表（约 **151,669** 项），对单语 + 固定格式浪费大。
- 方法 **VocabX**：不按「词频」而按 **成本加权**选 token——在他们测的 grader 上，**生成侧省 1 个 token ≈ 输入侧省 7.4 个 token** 的价值（因 decode 更吃显存带宽）。
- 两层同时做：重建专域 **subword**，并把重复 JSON 信封/短语收成 **macro token**；用五类 miner 挖重复跨度（长词/整行/短语/整句/带标点结构如 JSON）。
- 同基座、同数据、同训练配方与种子，只换词表；在 **RTX 5090 + vLLM**、同一 500 请求下，**平均回复 350 → 101 token，测得成本 −77.0%**；bench（评分准确 + 离题筛除）**0.703 → 0.810**。
- 教训：把「分数 + JSON 外壳」融进同一 macro 会更短，但质量掉到 0.689；给分数独立 token 多 2 个 token，质量反升且成本降幅仍约 77%。
- 输出层词表约从 152k 收到约 **65k** 行；在 contracts/medical/science/news/Python × Qwen3/Llama-3.1/Gemma-3 的对照里，VocabX 压缩与估成本均优于所比的 FVT / MWT / in-place BPE 配置（博客表述）。
二、编辑部怎么看（对照本站）
1. **专域 SLM 的隐藏杠杆常在 tokenizer**，不只在 LoRA。固定信封、固定字段名的 Agent/评分器最吃这一套。
2. **优化目标要对齐账单**：只压 token 数可能加长 LM head；博客强调 decode 侧更贵——和本站「单 token 成本拆解」同一方向：https://www.iaiforum.com/t/61
3. **别压缩决策位**：分数、工具名、拒答标记等高信息 token 宜保留独立，避免「更短但不可控」。
4. **复现门槛**：需要域内语料挖 macro + 重训/适配嵌入；通用聊天模型收益会小得多。
三、English summary
VocabX (HF blog, 2026-10-21) rebuilds a domain tokenizer by cost-weighted token selection (response tokens valued ~7.4× input in their grader), combining subword rebuild and macro tokens for repeated spans. On a Portuguese essay grader (Qwen3-4B, vLLM, RTX 5090), average response tokens fell 350→101 and measured cost −77%, with bench 0.703→0.810. Treat figures as author-reported; re-benchmark your stack.
四、讨论
1. 你们线上有没有「固定 JSON/工具信封」占输出大头的服务？有没有测过专域词表或宏 token？
2. 若只能做一件事：先上 **提示缓存**，还是先动 **词表**？决策依据是什么？
3. 压缩词表后，基座升级时你们怎么回归？
来源 Sources
- HF Blog：https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization
- 文中对照方法：Fast vocabulary transfer (EMNLP Industry 2022)；Multi-word tokenization (EMNLP Industry 2023)；In-Place Tokenizer Expansion arXiv:2607.15232
欢迎贴（可脱敏）词表大小、输出 token 分布与 serving 栈；勿只转发 77% 截图。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
日期：源文 2026-10-21。以下事实来自 Hugging Face 博客《How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications》（Dharma-AI / VocabX 预览），文末 Sources；**77% 等为作者在特定 grader + 硬件上的实测，换任务/模型/serving 栈必须自测，请勿直接当采购承诺**。
一、事实要点（HF 博客）
- 场景：葡萄牙语作文自动评分器，基座 **Qwen3-4B**，输出固定 JSON 能力项评分；词表仍是通用 Qwen3 词表（约 **151,669** 项），对单语 + 固定格式浪费大。
- 方法 **VocabX**：不按「词频」而按 **成本加权**选 token——在他们测的 grader 上，**生成侧省 1 个 token ≈ 输入侧省 7.4 个 token** 的价值（因 decode 更吃显存带宽）。
- 两层同时做：重建专域 **subword**，并把重复 JSON 信封/短语收成 **macro token**；用五类 miner 挖重复跨度（长词/整行/短语/整句/带标点结构如 JSON）。
- 同基座、同数据、同训练配方与种子，只换词表；在 **RTX 5090 + vLLM**、同一 500 请求下，**平均回复 350 → 101 token，测得成本 −77.0%**；bench（评分准确 + 离题筛除）**0.703 → 0.810**。
- 教训：把「分数 + JSON 外壳」融进同一 macro 会更短，但质量掉到 0.689；给分数独立 token 多 2 个 token，质量反升且成本降幅仍约 77%。
- 输出层词表约从 152k 收到约 **65k** 行；在 contracts/medical/science/news/Python × Qwen3/Llama-3.1/Gemma-3 的对照里，VocabX 压缩与估成本均优于所比的 FVT / MWT / in-place BPE 配置（博客表述）。
二、编辑部怎么看（对照本站）
1. **专域 SLM 的隐藏杠杆常在 tokenizer**，不只在 LoRA。固定信封、固定字段名的 Agent/评分器最吃这一套。
2. **优化目标要对齐账单**：只压 token 数可能加长 LM head；博客强调 decode 侧更贵——和本站「单 token 成本拆解」同一方向：https://www.iaiforum.com/t/61
3. **别压缩决策位**：分数、工具名、拒答标记等高信息 token 宜保留独立，避免「更短但不可控」。
4. **复现门槛**：需要域内语料挖 macro + 重训/适配嵌入；通用聊天模型收益会小得多。
三、English summary
VocabX (HF blog, 2026-10-21) rebuilds a domain tokenizer by cost-weighted token selection (response tokens valued ~7.4× input in their grader), combining subword rebuild and macro tokens for repeated spans. On a Portuguese essay grader (Qwen3-4B, vLLM, RTX 5090), average response tokens fell 350→101 and measured cost −77%, with bench 0.703→0.810. Treat figures as author-reported; re-benchmark your stack.
四、讨论
1. 你们线上有没有「固定 JSON/工具信封」占输出大头的服务？有没有测过专域词表或宏 token？
2. 若只能做一件事：先上 **提示缓存**，还是先动 **词表**？决策依据是什么？
3. 压缩词表后，基座升级时你们怎么回归？
来源 Sources
- HF Blog：https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization
- 文中对照方法：Fast vocabulary transfer (EMNLP Industry 2022)；Multi-word tokenization (EMNLP Industry 2023)；In-Place Tokenizer Expansion arXiv:2607.15232
欢迎贴（可脱敏）词表大小、输出 token 分布与 serving 栈；勿只转发 77% 截图。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）