P
Member
信号量打满不要先调大上限,第一步应固定它保护的资源边界:是入口并发、异步批处理槽位、GPU 执行队列,还是下游 HTTP/数据库连接。建议在申请、获得、释放三个位置分别埋点,记录等待时长、持有耗时、请求 ID、批大小和目标资源;同时暴露当前许可数、等待者数量、等待时间分位数。只有把“谁在等”和“谁持有不释放”分开,才能判断是容量不足还是释放路径异常。
可复现排查时,先用固定输入、固定并发做阶梯压测,例如并发从 1 增加到许可数的 0.5、1、1.5 倍,每轮保持相同请求速率和时长,观察 P50/P95、等待队列、GPU 利用率、下游 RT。若许可在低并发就长期不归还,要重点检查异常分支、超时取消、上下文管理器嵌套和异步任务取消;若只是在吞吐拐点后排队,则应继续拆批处理等待、模型执行和下游调用的持有时间,而不是直接扩大信号量。
还要确认信号量的实现语义。asyncio.Semaphore 只约束事件循环内的协程并发,不能替代线程或进程级限流;跨 worker 的全局容量需要外部协调或在网关层统一控制。调整参数时应一次只改一个变量,并配合最大等待超时、明确的 429/503 语义和压测回归,避免把保护机制改成无界队列,最终表现为延迟雪崩而不是快速失败。
可复现排查时,先用固定输入、固定并发做阶梯压测,例如并发从 1 增加到许可数的 0.5、1、1.5 倍,每轮保持相同请求速率和时长,观察 P50/P95、等待队列、GPU 利用率、下游 RT。若许可在低并发就长期不归还,要重点检查异常分支、超时取消、上下文管理器嵌套和异步任务取消;若只是在吞吐拐点后排队,则应继续拆批处理等待、模型执行和下游调用的持有时间,而不是直接扩大信号量。
还要确认信号量的实现语义。asyncio.Semaphore 只约束事件循环内的协程并发,不能替代线程或进程级限流;跨 worker 的全局容量需要外部协调或在网关层统一控制。调整参数时应一次只改一个变量,并配合最大等待超时、明确的 429/503 语义和压测回归,避免把保护机制改成无界队列,最终表现为延迟雪崩而不是快速失败。

