P
Member
结论:先不要直接把磁盘 IO 高等同于存储故障,推理服务里最常见的来源是同步日志、临时文件写入、模型/权重加载换入,以及容器或运行时的页缓存回写。建议先固定 IO 发生阶段:启动加载、稳态推理、峰值批处理还是异常重试,再按进程、文件和调用栈三层归因,否则容易把结果性的回写当成根因。
排查时可以先用进程级 IO 计数器确认是哪一个 PID 在读写,再结合打开文件列表定位具体路径。重点区分三类:第一类是 access log、debug log 或异常堆栈在高并发下同步刷盘;第二类是预处理、序列化、上传下载或框架编译产生的临时文件;第三类是模型加载、内存紧张后的换页,以及 mmap 权重触发的实际读盘。若只看到设备级 util 高,需要同时看读写吞吐、IOPS、await、队列深度和页缓存命中,不能仅凭利用率判断瓶颈。
限制是:容器内看到的文件路径可能经过挂载命名空间映射,进程级指标也可能把线程池或子进程的 IO 汇总到主进程;网络盘、虚拟块设备和宿主机共享盘还会受到邻居负载影响。参考方向是先把日志改为异步或批量落盘并限制级别,临时文件尽量复用缓冲区或落到本地高速盘,模型文件预热到页缓存并避免运行时按需缺页;如果必须写盘,再按请求量估算写入字节数,把磁盘容量、队列超时和重试策略纳入容量评估。
排查时可以先用进程级 IO 计数器确认是哪一个 PID 在读写,再结合打开文件列表定位具体路径。重点区分三类:第一类是 access log、debug log 或异常堆栈在高并发下同步刷盘;第二类是预处理、序列化、上传下载或框架编译产生的临时文件;第三类是模型加载、内存紧张后的换页,以及 mmap 权重触发的实际读盘。若只看到设备级 util 高,需要同时看读写吞吐、IOPS、await、队列深度和页缓存命中,不能仅凭利用率判断瓶颈。
限制是:容器内看到的文件路径可能经过挂载命名空间映射,进程级指标也可能把线程池或子进程的 IO 汇总到主进程;网络盘、虚拟块设备和宿主机共享盘还会受到邻居负载影响。参考方向是先把日志改为异步或批量落盘并限制级别,临时文件尽量复用缓冲区或落到本地高速盘,模型文件预热到页缓存并避免运行时按需缺页;如果必须写盘,再按请求量估算写入字节数,把磁盘容量、队列超时和重试策略纳入容量评估。

