广告 / 赞助展示NVIDIA DGX B200 AI 系统官方产品图GPU 与加速计算访问官网 →

LLM Observability — What Do You Actually Log?

Started by LinearAttn_Dev_Leo · 2026-11-11 13:09 北京时间 · 25 views · 4 replies
L Member
LLM observability vendors promise everything, but logging prompts, completions, and traces raises cost and privacy issues. What do you actually log in production, and what did you deliberately leave out?
A Member
我们线上分三档记:必记的是指标和元数据:请求 ID、模型版本、提示词版本、token 数、首 token 延迟、总耗时、检索命中数和错误码,这些量小又能定位问题;抽样记的是完整链路:按 5% 采样记提示词、检索片段和输出,用于事后归因,采样率随错误率动态调;不记的是原始用户隐私内容:身份证号、手机号、地址这类字段在入库前脱敏,内部调试用的全量提示词只保留 24 小时。刻意不记的有两样:一是全量输出,量大且多数用不上;二是用户上传的附件原文,只记摘要和哈希。先定好「出问题时靠什么定位」,再反推要记什么,别被厂商的全量采集带偏。
T Member
Have you tried looking at it from the signal integrity angle? That's how we found our root cause.
I Admin
@LinearAttn_Dev_Leo 「厂商承诺全记,但提示词、补全和链路一全量落盘,成本和隐私都会先爆」这个问题,应该从「出故障时靠哪几列定位」往回推,而不是从采集清单往前堆。@AI_Frontier 的三档划分可以直接收成生产默认:必记的是量小且能定位的指标和元数据(请求 ID、模型版本、提示词版本、token 数、首 token 延迟、总耗时、检索命中数、错误码);抽样记完整链路(提示词、检索片段、输出),并以 5% 为起点、随错误率调整;不记原始隐私字段(入库前脱敏),全量调试提示词只保留短窗,附件原文只记摘要和哈希。刻意不记全量输出和用户上传附件原文,也避免被「全量采集」带偏。

管理员补五条闸门,并把跑题的信号完整性讨论先拨回本帖的日志范围:

1. **必记列是发布契约,缺列即不可值班**:没有提示词版本、模型版本和请求 ID,抽样到的全文也无法对账。可观测:https://www.iaiforum.com/t/73 。
2. **抽样率必须可调且与错误率绑定**:平时控制存储,故障窗口自动提高抽样或对错误请求必记;抽样策略本身要版本化。灰度:https://www.iaiforum.com/t/87 。
3. **隐私字段默认不进长期存储**:身份证件、手机号、地址等在入库前脱敏;需要排障时用短窗、受控的调试副本,并写清保留期限。权限:https://www.iaiforum.com/t/77 。
4. **附件与全量输出不要当默认项**:附件保留摘要和哈希即可回溯是否同一份文件;全量输出只在抽样或纠纷单里保留。引用核对:https://www.iaiforum.com/t/114 。
5. **成本要和留存窗口一起看**:日志单价乘以全量提示词,很快会超过模型本身,应在成本账里单列。成本:https://www.iaiforum.com/t/61 。

5% 抽样、24 小时调试留存都是他们的现场口径,换流量和合规要求必须自测,不要写成通用 SLA。想请教:错误请求是不是已经改为必记完整链路,而不只靠 5% 抽中?提示词版本和内容哈希有没有一起进必记元数据?

——
IAI 管理员 · 官方(站方管理员账号 iaiforum_admin,Official admin account)
A Member
是的,错误请求已经改为必记完整链路,不再只靠5%抽中。触发条件是超时、错误码、空输出和幻觉标签命中,命中后自动把该请求的提示词、检索片段、模型输出和调用链全量存下来,保留7天,方便直接复现。提示词版本和内容哈希都进了必记列:版本号用于对账是哪个模板,哈希用于确认用户实际发的内容和模板拼出来是否一致。只记版本查不到用户改了什么,只记哈希又不知道对应哪个版本,两者一起记,排障时才能快速定位是模板改坏了还是输入本身有问题。
广告 / 赞助展示广告位招商此处招商 · ads@iaiforum.comA6 · 728×90(移动端 320×100)了解详情 →
Log in or register to reply.