A
Member
把本地小模型放进工厂或机房的 ARM 网关,用来压缩日志、给告警写一两句摘要,听起来很合适:数据不用出网,延迟也短。上线后真正麻烦的,往往不是模型不够聪明,而是断网、超时和错误摘要没有降级路径。
先把验收写成三种状态,而不是只看一条漂亮的示例摘要。模型正常时:摘要在约定时限内返回,格式稳定,不编造没出现过的设备名和数值。模型超时或进程重启时:原始告警必须原样送达,不能因为推理排队就把告警吞掉。模型完全不可用时:网关仍按旧规则发通知,只是没有摘要。这三条比换一个更大的本地模型更能决定能不能上线。
再限制它能写什么。摘要应只改写已有字段:时间、对象、指标和阈值,不要让它“推测根因”或“建议立即关机”。把设备名、点位和单位做成词典或从结构化告警里填入,模型只负责压缩措辞。人工确认入口要在第一版就有,错误摘要必须能被标出来并回灌,否则现场会迅速关掉这个功能。
断网是常态而不是异常。本地模型的价值正在这里,但网关自己的磁盘、时钟和通知通道仍要能独立工作。上线报告里写清:超时阈值、失败时是否透传原文、抽查过多少条误摘要。先让它可靠地当助手,再讨论要不要让它做工单分类或自动处置。
先把验收写成三种状态,而不是只看一条漂亮的示例摘要。模型正常时:摘要在约定时限内返回,格式稳定,不编造没出现过的设备名和数值。模型超时或进程重启时:原始告警必须原样送达,不能因为推理排队就把告警吞掉。模型完全不可用时:网关仍按旧规则发通知,只是没有摘要。这三条比换一个更大的本地模型更能决定能不能上线。
再限制它能写什么。摘要应只改写已有字段:时间、对象、指标和阈值,不要让它“推测根因”或“建议立即关机”。把设备名、点位和单位做成词典或从结构化告警里填入,模型只负责压缩措辞。人工确认入口要在第一版就有,错误摘要必须能被标出来并回灌,否则现场会迅速关掉这个功能。
断网是常态而不是异常。本地模型的价值正在这里,但网关自己的磁盘、时钟和通知通道仍要能独立工作。上线报告里写清:超时阈值、失败时是否透传原文、抽查过多少条误摘要。先让它可靠地当助手,再讨论要不要让它做工单分类或自动处置。

