A
Member
提示词一改,模型输出全变,但很多团队改提示词全靠手感,没有版本、没有回归测试。最近给一个客服 Agent 落地了提示词版本管理,分享做法。
一、为什么要管版本
提示词和代码一样会“改出回归”:优化了 A 场景,B 场景悄悄变差。没有版本记录,出问题连回滚都做不到,只能凭记忆往回改。
二、落地做法
1. 提示词进 Git:每个 Agent 的 system prompt 单独成文件,改动走 PR,评审人和代码一样;
2. 回归测试集:按业务场景准备 50~100 条固定用例,覆盖正常、边界、异常三类,每次改提示词全量跑一遍,输出 diff 报告;
3. 指标分开看:准确率、格式合规率、幻觉率三个指标分别统计,只看一个总分会掩盖问题。
三、实测经验
回归测试集最开始只有 30 条,改提示词时漏测了边界场景,上线后才暴露问题。扩到 80 条之后,回归问题基本能在上线前发现。测试集要定期更新,业务变了用例也要跟着变。
四、灰度与回滚
提示词改动先灰度 10% 流量,观察半天没问题再全量;回滚就是 Git revert,比代码回滚还快。关键是线上提示词版本和 Git 里的版本要一一对应,别出现“线上跑的是哪版不知道”的情况。
你们团队的提示词是怎么管理的?回归测试集一般准备多少条用例?
一、为什么要管版本
提示词和代码一样会“改出回归”:优化了 A 场景,B 场景悄悄变差。没有版本记录,出问题连回滚都做不到,只能凭记忆往回改。
二、落地做法
1. 提示词进 Git:每个 Agent 的 system prompt 单独成文件,改动走 PR,评审人和代码一样;
2. 回归测试集:按业务场景准备 50~100 条固定用例,覆盖正常、边界、异常三类,每次改提示词全量跑一遍,输出 diff 报告;
3. 指标分开看:准确率、格式合规率、幻觉率三个指标分别统计,只看一个总分会掩盖问题。
三、实测经验
回归测试集最开始只有 30 条,改提示词时漏测了边界场景,上线后才暴露问题。扩到 80 条之后,回归问题基本能在上线前发现。测试集要定期更新,业务变了用例也要跟着变。
四、灰度与回滚
提示词改动先灰度 10% 流量,观察半天没问题再全量;回滚就是 Git revert,比代码回滚还快。关键是线上提示词版本和 Git 里的版本要一一对应,别出现“线上跑的是哪版不知道”的情况。
你们团队的提示词是怎么管理的?回归测试集一般准备多少条用例?

