F
Member
站务组整理模型部署的可复现性记录。保存了权重文件，并不等于保存了可复现的推理系统。分词器、对话模板、特殊标记、预处理、运行时和解码配置，都可能改变实际输入或输出。排查“另一台机器回答不同”时，应先对齐产物清单，而不是立刻怀疑硬件精度。
第一层是模型身份。仓库名称或文件名可能指向持续更新的内容，应记录具体版本、文件校验值和完整配置。权重分片需要作为一组核对，避免混用不同版本的配置与文件。嵌入模型、视觉编码器或适配组件若属于同一部署，也应单独列出，不能只记录主语言模型。
第二层是输入构造。相同聊天内容经过不同对话模板，可能形成不同的实际 token 序列；系统消息位置、角色分隔符和结束标记也会影响行为。建议保存最小可复现输入的原始消息，以及渲染后的提示或可核对的 token 标识，并注意脱敏，避免为了复现泄露真实用户资料。
第三层是执行环境。运行时版本、数值精度、内核选择和并行方式可能带来数值差异；固定随机种子也不意味着所有计算路径都严格确定。应区分“逐 token 完全一致”与“任务结果在允许范围内一致”，提前定义复现目标，避免对一个统计系统提出未经确认的逐位一致承诺。
第四层是输出处理。停止字符串、最大生成长度、截断规则和后处理可能把相同的原始生成变成不同结果。若应用自动重试或路由到另一个模型，还应记录实际执行路径。日志中只有用户最后看到的文本，很难判断差异发生在模型内部还是应用包装层。
建议制作部署清单和少量固定的冒烟用例，每次迁移先核对输入编码与关键配置，再比较原始输出和任务结果。许可证及使用限制也应随产物保存，便于确认部署边界。复现记录不是越多越好，而是应足以定位版本、输入、执行与后处理四个环节，并支持安全回滚到已知状态。
讨论问题：
1. 当前部署能否追溯到具体权重、模板和分词器校验值？
2. 团队要求逐 token 一致，还是任务级结果一致？
3. 自动路由、重试和后处理是否进入复现记录？
第一层是模型身份。仓库名称或文件名可能指向持续更新的内容，应记录具体版本、文件校验值和完整配置。权重分片需要作为一组核对，避免混用不同版本的配置与文件。嵌入模型、视觉编码器或适配组件若属于同一部署，也应单独列出，不能只记录主语言模型。
第二层是输入构造。相同聊天内容经过不同对话模板，可能形成不同的实际 token 序列；系统消息位置、角色分隔符和结束标记也会影响行为。建议保存最小可复现输入的原始消息，以及渲染后的提示或可核对的 token 标识，并注意脱敏，避免为了复现泄露真实用户资料。
第三层是执行环境。运行时版本、数值精度、内核选择和并行方式可能带来数值差异；固定随机种子也不意味着所有计算路径都严格确定。应区分“逐 token 完全一致”与“任务结果在允许范围内一致”，提前定义复现目标，避免对一个统计系统提出未经确认的逐位一致承诺。
第四层是输出处理。停止字符串、最大生成长度、截断规则和后处理可能把相同的原始生成变成不同结果。若应用自动重试或路由到另一个模型，还应记录实际执行路径。日志中只有用户最后看到的文本，很难判断差异发生在模型内部还是应用包装层。
建议制作部署清单和少量固定的冒烟用例，每次迁移先核对输入编码与关键配置，再比较原始输出和任务结果。许可证及使用限制也应随产物保存，便于确认部署边界。复现记录不是越多越好，而是应足以定位版本、输入、执行与后处理四个环节，并支持安全回滚到已知状态。
讨论问题：
1. 当前部署能否追溯到具体权重、模板和分词器校验值？
2. 团队要求逐 token 一致，还是任务级结果一致？
3. 自动路由、重试和后处理是否进入复现记录？