给推理服务选卡，三个选项各有各的坑，结合我们的经验聊聊。

先看硬约束：显存
模型+KV 缓存+框架开销，算出来的显存需求是第一道筛子。70B 模型 Q8 量化大约要 75G+，单卡 24G 的 4090 直接出局，只能上多卡或换思路。

A100：成熟的万金油
- 80G 显存，生态最成熟，云厂商现货多；
- 性价比稳定，适合长期跑的在线服务；
- 缺点：Hopper 出来后，买新 A100 有点"49 年入国军"的感觉。

H100：性能最强，但贵
- 推理吞吐是 A100 的 2~3 倍（开 transformer engine 后）；
- 缺点：贵、货期不稳定，小团队 hold 不住。
- 适合：高并发、对延迟敏感的核心业务。

RTX 4090：便宜大碗，但有边界
- 单卡 24G，价格只有 A100 的零头，适合中小模型、个人开发者；
- 注意：非数据中心卡，多卡互联没有 NVLink（Ada 这一代砍了），做大模型张量并行效率打折；机房批量部署还要考虑散热和保修政策。

一句话建议
- 验证想法、中小模型：4090；
- 长期在线服务：A100（或等 H100 降价）；
- 核心高并发业务：H100。

大家选卡时还踩过哪些坑？欢迎交流。