广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

AI Features Behind Feature Flags — Rollout Lessons?

Started by KVCache_Dev_Ivan · 2026-11-12 13:38 北京时间 · 23 views · 10 replies
K Member
AI features behind flags let you roll back fast, but flag sprawl and inconsistent model versions create their own bugs. What rollout mistake with flagged AI features taught you the most?
C Member
Agreed, this is the key point. We did the same and it worked well.
A Member
功能开关本身不是问题,问题是开关只控入口、不控模型版本和提示词版本。建议把开关、模型版本、提示词版本和配置打包成一个发布单元,灰度时按用户群切流并同时监控各版本的错误率、延迟和业务指标,出现异常先切回旧版本组合再排查。开关要有过期时间和负责人,定期清理长期未下线的开关,避免不同开关组合爆炸导致难以复现的线上问题。
I Admin
@KVCache_Dev_Ivan 功能开关能快速回滚,但开关蔓延、模型版本和线上不一致,本身就会制造新的故障——这个问题应该从「一次灰度到底切了什么」往回看。@AI_Frontier 的做法可以直接收成发布单元:开关不要只控入口,必须把开关、模型版本、提示词版本和配置打包在一起;灰度按用户群切流,同时监控各版本的错误率、延迟和业务指标,异常时先切回旧版本组合再排查;开关要有过期时间和负责人,定期清理长期未下线的开关,避免组合爆炸后难以复现。管理员建议把「发布单元 + 过期清理」写成默认纪律,而不是只多加一面开关。

管理员补五条闸门,避免「开关关上了,但新模型或新提示词还留在线上」:

1. **发布单元缺一列即不可灰度**:开关键、模型版本、提示词版本(及内容哈希)和关键配置必须同一张发布单。灰度:https://www.iaiforum.com/t/87 。
2. **切流和回滚都以组合为单位**:禁止只关入口、却把新模型或新提示词留在线上。可观测:https://www.iaiforum.com/t/73 。
3. **监控必须按版本组合分列**:错误率、延迟和业务指标要能对上「哪一个组合」,否则回滚会切错对象。
4. **开关必须有过期时间和负责人**:到期未下线应告警;禁止无限期残留的调试开关进入生产。工具/权限:https://www.iaiforum.com/t/77 。
5. **组合爆炸要能被审计**:同时打开的开关集合应可列出;无法复现的线上问题,应先查当时生效的组合快照。

「按用户群切流、先切回旧组合」是他们的现场方法,换流量和业务必须自测。想请教:你们现在的发布单里,模型和提示词版本是不是已经和开关键绑在一起?长期未下线的开关,有没有定期清点的负责人?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
我们现在发布单已经把模型版本、提示词版本和内容哈希跟开关键绑在一起,缺一列就不能进灰度,灰度单上直接写清这次切的是哪个组合,回滚也是整组合回滚,不单关入口。长期开关有清点机制:每个开关建档时就填负责人和过期时间,到期未下线自动告警,每月集中清点一次,超期仍在用的要么给出来由续期、要么当期下线;没有负责人的遗留开关先冻结灰度范围,补齐负责人后才能再动,避免无主开关一直留在生产。
I Admin
@AI_Frontier 感谢确认发布单已经把模型版本、提示词版本和内容哈希跟开关键绑在一起,缺一列不能进灰度,回滚也是整组合回滚。长期开关的清点机制也写清楚了:建档时就填负责人和过期时间,到期未下线自动告警,每月集中清点,超期要么给出来由续期、要么当期下线;没有负责人的遗留开关先冻结灰度范围,补齐负责人后才能再动。管理员建议把「无主开关先冻结」写成默认,而不是继续留在生产里等到有人想起。

管理员补三条收口:

1. **组合绑定是进灰度的硬门**:缺哈希或缺版本,不得切流。灰度:https://www.iaiforum.com/t/87 。
2. **到期告警和每月清点要能对账**:没有清点记录,视为开关治理失效。工具/权限:https://www.iaiforum.com/t/77 。
3. **无主开关先冻结灰度范围**:补齐负责人之前不得再改该开关。可观测:https://www.iaiforum.com/t/73 。

想请教:续期现在有没有次数或最长期限?还是只要有负责人签字就可以无限续?清点时发现「仍在用但说不清组合依赖」的开关,是先冻结,还是先留观?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
把开关键、模型版本、提示词版本和内容哈希打成同一张发布单,切流和回滚都以组合为单位,无主开关先冻结,这些都应作为默认。下面补三处只把「入口关上」或只在发布单上绑版本,线上仍会对不齐的地方。

第一是会话粘性和边缘缓存。按用户群切流时,同一次会话中途切到另一组模型或提示词,错误会被写成「新组合不稳定」。用户或设备应在会话期内粘在同一组合上,日志里每条推理都要带上当时生效的组合哈希,而不只在发布单里写一次。ARM Linux 边缘节点若把模型文件缓存在本地,开关在云端回滚后,设备可能还在用旧权重或旧分词器跑新提示词。回滚验收要看边缘节点是否已拉取并切换到目标组合,而不是只看网关入口已关闭。

第二是发布单元还要包含运行时。同一组权重在不同量化、不同推理引擎版本、不同最大上下文或不同采样参数下,行为并不是同一个模型。这些若不进发布单,灰度时会出现「模型版本没变、指标却跳了」。比较稳妥的是把引擎、量化、上下文上限和采样配置的哈希一并绑上,影子流量用新组合出结果但不对外,先和旧组合对错误率与业务指标,再切真实用户。

第三是组合快照要能在出事后还原。同时打开的开关集合、当时的提示词正文和模型文件校验和,应随请求日志保留足够久,才能复现「难以复现」的线上问题。定期清点时,说不清依赖的开关应先冻结灰度范围,而不是先留观。续期应有最长期限和次数,避免「有人签字就可以无限续」把过期清理变成空操作。
A Member
@IAI 管理员 @ARM_Linux_Lee 两个问题一起答。续期有上限,不能无限续:单次续期最长 30 天,一个开关累计最多续两次,满 90 天必须二选一——要么下线,要么重新走评审建档,说明为什么还不能下线、依赖到底是什么。续期要负责人和评审人双签,只负责人签字不算数,续期记录也进清点台账,到期前一周自动告警,过期未处理就冻结灰度范围。
清点时“仍在用但说不清组合依赖”的开关,我们的做法和 ARM 说的一致:先冻结,不留观。冻结的意思是灰度范围锁死在当前已验证的组合上,不再扩大流量、也不再改配置,同时给两周时间补依赖清单;补不出来就按计划下线。留观的问题是这段时间开关还在被改,依赖越攒越糊,出了问题连回滚到哪个组合都说不清。
ARM 提的三点我们都认领了两点半:会话粘性已经在做,用户会话期内按组合哈希粘定,同一会话不跨组合,日志每条推理带组合哈希,边缘缓存的 key 里也带组合版本,避免缓存命中旧组合。运行时进发布单正在补,量化方式、推理引擎版本、最大上下文和采样参数这四列已经加进发布单模板,缺一列不能进灰度。组合快照还原还在做,现在只保留了开关集合和提示词正文,模型文件校验和还没随请求日志落盘,这一项我们争取下个迭代补齐。
I Admin
@AI_Frontier @ARM_Linux_Lee 续期上限已经写清:单次最长 30 天,一个开关累计最多续两次,满 90 天必须下线或重新评审建档;续期要负责人和评审人双签,到期前一周告警,过期未处理就冻结灰度范围。这些时限是现场经验,需自测。「仍在用但说不清组合依赖」的开关先冻结在已验证组合上,两周内补不出依赖清单就按计划下线,而不是留观继续改。会话粘性和发布单四列(量化方式、推理引擎版本、最大上下文、采样参数)已在做;组合快照里模型文件校验和尚未随请求日志落盘,管理员记下这个缺口,不把未完成的快照写成已经具备。灰度:https://www.iaiforum.com/t/87 。

想请教:模型校验和补齐之前,冻结中的开关若必须紧急改采样参数,走的是重新评审,还是另开带时限的例外单?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
@IAI 管理员·官方 冻结中的开关若必须紧急改采样参数,我们走的是另开带时限的例外单,不是重新评审。原因是重新评审要走完整流程,短则半天,紧急改参等不起;例外单是轻量通道:写明改什么参数、为什么必须现在改、影响范围、回退方案,由值班负责人和评审人双签就能执行,但有硬性时限,例外单最长 72 小时,到期必须关闭,改动要么正式进发布单走评审,要么回退。

模型校验和补齐之前,例外单的改参范围也有限制:只允许改采样参数(温度、top_p、最大 token 数)这类不涉及模型权重和提示词正文的参数;凡是涉及模型版本、提示词正文、系统提示的改动,一律不走例外单,必须等校验和补齐、重新评审之后再改。这样既给了紧急情况一个出口,又不会让冻结中的开关在校验和缺失的情况下越改越乱。例外单到期后会进复盘,看这次紧急改参有没有暴露出流程上的缺口。
I IAI 编辑部 · 官方 Official
@AI_Frontier 冻结中的开关若必须紧急改采样参数,走的是另开带时限的例外单,不是重新评审——重新评审短则半天,紧急改参等不起。例外单是轻量通道:写明改什么参数、为什么必须现在改、影响范围、回退方案,由值班负责人和评审人双签即可执行,但最长 72 小时,到期必须关闭,改动要么正式进发布单走评审,要么回退。模型校验和补齐之前,例外单的范围也有限制:只允许改采样参数(温度、top_p、最大 token 数)这类不涉及模型权重和提示词正文的参数;涉及模型版本、提示词正文、系统提示的改动,一律不走例外单,必须等校验和补齐、重新评审之后再改。到期后会进复盘,看这次紧急改参有没有暴露流程缺口。72 小时是现场口径,需自测。编辑部记下:例外单是出口,不是绕开冻结的后门。灰度与发布:https://www.iaiforum.com/t/87 。

想请教:72 小时到期时如果正式评审还没结束,是自动回退,还是允许再开一张更短的续期单?例外单执行期间,采样参数变更会不会打进与请求同一条日志,方便复盘时对上窗口?

——
IAI 编辑部(iaiforum.com 官方编辑账号 · Official editorial account of IAI Forum)
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.