I
IAI 编辑部 · 官方 Official
IAI 编辑部 · 新闻解读 / News analysis
日期：源文 2026-10-21。以下事实来自 Hugging Face 博客《NVIDIA Nemotron 3.5 Embed, Rerank, and Parse: Advancing Agents with World-Class Retrieval Models》（NVIDIA 团队）；**nDCG、token 降幅、吞吐等均为文中自测/榜单口径，换语料/硬件/Agent 策略必须自测，请勿当采购承诺**。
一、事实要点（博客）
- **问题**：Agent 证据不全或不相关时会反复搜索、多烧推理 token；检索质量同时影响答案与 $/任务。
- **发布**（开放权重、可商用口径以模型卡为准）：
- **Nemotron 3.5 Embed**：8B BF16、1B BF16、1B NVFP4——文本+图像（表格/图表/信息图等）检索；
- **Nemotron 3.5 Rerank 8B BF16**——对 query–document（含图像）联合打分；
- **Nemotron 3.5 Parse（631M）**——文档图像→结构化文本（Markdown/HTML 表等）。
- **Agent 管线实验（文内 Figure 1 设定）**：固定 LLM/工具/任务，只改检索配置。文称：在 Embed 8B / 1B 上加 Rerank，**每查询 Agent token 成本约降 14% / 13%**，同时提升检索准确率（作者口径）。
- **ViDoRe v3.1（文内，截至 10/20/2026 叙述）**：Embed 8B BF16 **61.17 nDCG@10**（相对其引用的 Llama Nemotron Embed VL 1B 的 52.23，+8.94）；蒸馏 1B 为 **58.38**（约保留教师 95.4%）。Rerank 8B 在图文联合输入 **60.49 nDCG@10**（文内对比 Qwen3-VL-Reranker-8B 的 59.17）。
- **NVFP4**：1B NVFP4 在 GB200 上吞吐文称 **101.3 → 128.8 doc/s（+27.1%）**，ViDoRe v3 图文联合准确率保留约 **99.85%**（作者口径）。
- **域适应**：图表/信息图合成查询微调后，1B / 8B 相对增益文称约 **+18% / +3% nDCG@10**（合成 hold-out，非你的私有库保证）。
- **Parse**：ParseBench（<1B 组）文称 **75.20**，H100 上约 **10.5 pages/s**（triple-pass）；single/double/triple 可在速度与精度间切换。
二、编辑部怎么看（对照本站）
1. **检索是 Agent 成本开关**：本站反复强调输入侧优先（https://www.iaiforum.com/t/61 ）——Rerank 减少「翻页式工具调用」，和前缀缓存一样是账单杠杆。
2. **先 Parse 再 Embed**：扫描件/复杂 PDF 没有结构，硬塞 VLM 会把长尾藏进「整体准确率」；与 https://www.iaiforum.com/t/72 讨论同构。
3. **榜单数字要带任务集**：ViDoRe / BRIGHT / BrowseComp-Plus 与你的工单 PDF 不是同一分布；上线闸门仍应是业务用例集（https://www.iaiforum.com/t/74 ）+ Agent 可重复成功（https://www.iaiforum.com/t/44 、https://www.iaiforum.com/t/67 ）。
4. **观测要对齐**：换检索栈后同时报「任务成功率」与「每任务 Agent token」，只报 nDCG 不够。
三、English summary
HF/NVIDIA (2026-10-21): Nemotron 3.5 adds multimodal Embed (8B/1B/NVFP4), Rerank 8B, and Parse 631M. Author-reported agentic runs: reranking cut ~13–14% tokens/query while lifting retrieval metrics; ViDoRe v3.1 numbers are leaderboard/self-reported—re-benchmark on your corpus.
四、讨论问题
1. 你们 Agent 检索是 **只 embed**，还是已经上了 **rerank**？上线后每任务 token 有没有下降？
2. 文档流水线是 **Parse→索引→检索**，还是直接 VLM 端到端？扫描件占比多少？
3. 若只能投一项：先补 rerank，还是先补业务域微调 embed？
来源 Sources
- HF Blog: https://huggingface.co/blog/nvidia/nemotron-retriever-world-class-agentic-retrieval
- 模型入口（博客 Getting Started 列出）：Nemotron-3.5-Embed / Rerank / Parse 各模型卡与 NIM（以博客链接为准）
- 相关本站：成本 https://www.iaiforum.com/t/61 · 文档理解 https://www.iaiforum.com/t/72 · Agent 评测 https://www.iaiforum.com/t/44
欢迎贴（可脱敏）「加 rerank 前后」的每任务 token 与成功率；勿只转发 nDCG 截图。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）
日期：源文 2026-10-21。以下事实来自 Hugging Face 博客《NVIDIA Nemotron 3.5 Embed, Rerank, and Parse: Advancing Agents with World-Class Retrieval Models》（NVIDIA 团队）；**nDCG、token 降幅、吞吐等均为文中自测/榜单口径，换语料/硬件/Agent 策略必须自测，请勿当采购承诺**。
一、事实要点（博客）
- **问题**：Agent 证据不全或不相关时会反复搜索、多烧推理 token；检索质量同时影响答案与 $/任务。
- **发布**（开放权重、可商用口径以模型卡为准）：
- **Nemotron 3.5 Embed**：8B BF16、1B BF16、1B NVFP4——文本+图像（表格/图表/信息图等）检索；
- **Nemotron 3.5 Rerank 8B BF16**——对 query–document（含图像）联合打分；
- **Nemotron 3.5 Parse（631M）**——文档图像→结构化文本（Markdown/HTML 表等）。
- **Agent 管线实验（文内 Figure 1 设定）**：固定 LLM/工具/任务，只改检索配置。文称：在 Embed 8B / 1B 上加 Rerank，**每查询 Agent token 成本约降 14% / 13%**，同时提升检索准确率（作者口径）。
- **ViDoRe v3.1（文内，截至 10/20/2026 叙述）**：Embed 8B BF16 **61.17 nDCG@10**（相对其引用的 Llama Nemotron Embed VL 1B 的 52.23，+8.94）；蒸馏 1B 为 **58.38**（约保留教师 95.4%）。Rerank 8B 在图文联合输入 **60.49 nDCG@10**（文内对比 Qwen3-VL-Reranker-8B 的 59.17）。
- **NVFP4**：1B NVFP4 在 GB200 上吞吐文称 **101.3 → 128.8 doc/s（+27.1%）**，ViDoRe v3 图文联合准确率保留约 **99.85%**（作者口径）。
- **域适应**：图表/信息图合成查询微调后，1B / 8B 相对增益文称约 **+18% / +3% nDCG@10**（合成 hold-out，非你的私有库保证）。
- **Parse**：ParseBench（<1B 组）文称 **75.20**，H100 上约 **10.5 pages/s**（triple-pass）；single/double/triple 可在速度与精度间切换。
二、编辑部怎么看（对照本站）
1. **检索是 Agent 成本开关**：本站反复强调输入侧优先（https://www.iaiforum.com/t/61 ）——Rerank 减少「翻页式工具调用」，和前缀缓存一样是账单杠杆。
2. **先 Parse 再 Embed**：扫描件/复杂 PDF 没有结构，硬塞 VLM 会把长尾藏进「整体准确率」；与 https://www.iaiforum.com/t/72 讨论同构。
3. **榜单数字要带任务集**：ViDoRe / BRIGHT / BrowseComp-Plus 与你的工单 PDF 不是同一分布；上线闸门仍应是业务用例集（https://www.iaiforum.com/t/74 ）+ Agent 可重复成功（https://www.iaiforum.com/t/44 、https://www.iaiforum.com/t/67 ）。
4. **观测要对齐**：换检索栈后同时报「任务成功率」与「每任务 Agent token」，只报 nDCG 不够。
三、English summary
HF/NVIDIA (2026-10-21): Nemotron 3.5 adds multimodal Embed (8B/1B/NVFP4), Rerank 8B, and Parse 631M. Author-reported agentic runs: reranking cut ~13–14% tokens/query while lifting retrieval metrics; ViDoRe v3.1 numbers are leaderboard/self-reported—re-benchmark on your corpus.
四、讨论问题
1. 你们 Agent 检索是 **只 embed**，还是已经上了 **rerank**？上线后每任务 token 有没有下降？
2. 文档流水线是 **Parse→索引→检索**，还是直接 VLM 端到端？扫描件占比多少？
3. 若只能投一项：先补 rerank，还是先补业务域微调 embed？
来源 Sources
- HF Blog: https://huggingface.co/blog/nvidia/nemotron-retriever-world-class-agentic-retrieval
- 模型入口（博客 Getting Started 列出）：Nemotron-3.5-Embed / Rerank / Parse 各模型卡与 NIM（以博客链接为准）
- 相关本站：成本 https://www.iaiforum.com/t/61 · 文档理解 https://www.iaiforum.com/t/72 · Agent 评测 https://www.iaiforum.com/t/44
欢迎贴（可脱敏）「加 rerank 前后」的每任务 token 与成功率；勿只转发 nDCG 截图。
——
IAI 编辑部（iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum）