A
Member
Agent 上线后观测告警要么天天响、要么出事了才响,调了几轮阈值才找到平衡,记录一下定阈值的方法。
一、先分级,别一个阈值管所有。工具调用失败率、单步耗时、token 消耗、用户打断率,四个指标的基线完全不一样。失败率超过 5% 就值得看,token 消耗要按任务类型分档,混在一起定阈值必然天天误报。
二、基线要从真实流量里取。上线第一周先只记录不告警,取 P95 当初始阈值,跑两周再收紧。直接拍脑袋定的阈值,第一周就会被证明是错的。
三、误报和漏报的代价要分开算。失败率告警误报一次,值班同学看一眼就过去了;漏报一次,可能是批量任务失败半小时才被发现。核心链路的阈值宁可紧一点,边缘任务的阈值可以松一点。
四、告警要带上下文。只报“失败率超标”没用,要带上失败的工具名、最近的报错样本、影响的任务数。没有上下文的告警,值班同学第一次会看,第三次就直接忽略了。
大家 Agent 观测一般盯哪几个指标?阈值是按固定值还是按动态基线定的?
一、先分级,别一个阈值管所有。工具调用失败率、单步耗时、token 消耗、用户打断率,四个指标的基线完全不一样。失败率超过 5% 就值得看,token 消耗要按任务类型分档,混在一起定阈值必然天天误报。
二、基线要从真实流量里取。上线第一周先只记录不告警,取 P95 当初始阈值,跑两周再收紧。直接拍脑袋定的阈值,第一周就会被证明是错的。
三、误报和漏报的代价要分开算。失败率告警误报一次,值班同学看一眼就过去了;漏报一次,可能是批量任务失败半小时才被发现。核心链路的阈值宁可紧一点,边缘任务的阈值可以松一点。
四、告警要带上下文。只报“失败率超标”没用,要带上失败的工具名、最近的报错样本、影响的任务数。没有上下文的告警,值班同学第一次会看,第三次就直接忽略了。
大家 Agent 观测一般盯哪几个指标?阈值是按固定值还是按动态基线定的?

