I
Member
7B 模型想做指令微调,第一反应通常是"全参跑不动就上 QLoRA"。但 QLoRA 省的是显存,不是时间,而且省下来的显存未必是瓶颈。这篇把三笔账分开算:显存、吞吐、效果。
一、显存账:先算优化器状态,再算激活
全参微调在混合精度 + Adam 下,每个参数占的字节数是固定的:
1. bf16 权重 2 B
2. bf16 梯度 2 B
3. fp32 master 权重 4 B
4. Adam 一阶动量 4 B
5. Adam 二阶动量 4 B
合计 16 B/参数,这是训练框架文档里通行的典型值。7B 模型仅状态就是约 112 GB;13B 约 208 GB。这就是"单卡 80 GB 连 7B 全参都放不下"的原因,与 batch 大小无关。
激活显存是另一笔,与 batch × 序列长度近似线性。7B 在 seq 4096、batch 8 下,开梯度检查点与 FlashAttention,经验区间在 20–40 GB;不开检查点会翻倍以上。
LoRA 的可训练参数通常占 0.1%–0.5%(r=16、覆盖 q/k/v/o 与 MLP 时 7B 约 4–10 M),优化器状态可以忽略;但基座权重仍要以 bf16 常驻(7B 约 14 GB),省下的是梯度与优化器那 12 B/参数。
QLoRA 把基座量化到 NF4,约 0.5 B/参数(7B 约 3.5 GB),双量化再省一点常数项(论文给出的典型量级是每参数 0.1 bit 级别)。代价是反量化时的临时张量峰值,以及分页优化器。
二、吞吐账
LoRA 省掉的是权重梯度与优化器更新,反传仍需全图激活,因此 FLOPs 降幅有限,社区与论文常见的工程经验是:bf16 LoRA 比全参快 1.3–1.8 倍,显存降 50%–65%。
QLoRA 因为每步都要反量化,训练步时间通常比 bf16 LoRA 慢 20%–40%(论文报告的量级约三分之一),换来显存再降 3–5 倍。如果你的瓶颈本来就是显存,这笔交易划算;如果瓶颈是训练时长,QLoRA 反而更贵。
三、效果账
1. r=8–64、alpha=2r 是覆盖多数指令微调的常用组合(社区经验,非定律)。
2. LoRA 在"把已有能力对齐到指令格式"上接近全参;在"灌入大量新知识"(继续预训练、领域语料)上明显弱于全参。
3. 参数量越大,LoRA 与全参的差距越小;70B 以上全参的成本又高到不现实,于是 LoRA 成了默认。
四、选型表
1. 单卡 24 GB、7B 指令微调:QLoRA,r=16,batch 1–2 + 梯度累积。
2. 单卡 80 GB、7B–13B:bf16 LoRA,r=32,速度优先。
3. 多卡 70B SFT:LoRA + FSDP/ZeRO-3,切分点在优化器状态。
4. 继续预训练或大量新领域语料:全参(或全层高 rank),别指望 LoRA 灌知识。
五、实操清单
1. 先按 16 B/参数算状态,再按 batch×seq 估激活,两者相加才是显存需求。
2. 打开序列打包(packing),长文本场景能省 20%–40% 的无效 padding。
3. 梯度检查点必开,代价是约 20%–30% 的步时间。
4. GPU 利用率低于 60% 时先查 dataloader 与 tokenize 流水线,别急着换卡。
5. 保留一份 held-out 集,比较 LoRA 与全参在同一评测上的差距,而不是看训练 loss。
想请教两个问题:你们在 7B 上用 QLoRA 时,训练步时间比 bf16 LoRA 慢了多少?另外 r 与 alpha 是怎么定的——固定比例,还是按任务调?
(本帖由国际人工智能论坛编辑部整理,属技术资料汇总与讨论引子,不代表个人使用经历;显存系数与速度区间取自公开框架文档、QLoRA 论文与常见工程经验,具体以实测为准。)
一、显存账:先算优化器状态,再算激活
全参微调在混合精度 + Adam 下,每个参数占的字节数是固定的:
1. bf16 权重 2 B
2. bf16 梯度 2 B
3. fp32 master 权重 4 B
4. Adam 一阶动量 4 B
5. Adam 二阶动量 4 B
合计 16 B/参数,这是训练框架文档里通行的典型值。7B 模型仅状态就是约 112 GB;13B 约 208 GB。这就是"单卡 80 GB 连 7B 全参都放不下"的原因,与 batch 大小无关。
激活显存是另一笔,与 batch × 序列长度近似线性。7B 在 seq 4096、batch 8 下,开梯度检查点与 FlashAttention,经验区间在 20–40 GB;不开检查点会翻倍以上。
LoRA 的可训练参数通常占 0.1%–0.5%(r=16、覆盖 q/k/v/o 与 MLP 时 7B 约 4–10 M),优化器状态可以忽略;但基座权重仍要以 bf16 常驻(7B 约 14 GB),省下的是梯度与优化器那 12 B/参数。
QLoRA 把基座量化到 NF4,约 0.5 B/参数(7B 约 3.5 GB),双量化再省一点常数项(论文给出的典型量级是每参数 0.1 bit 级别)。代价是反量化时的临时张量峰值,以及分页优化器。
二、吞吐账
LoRA 省掉的是权重梯度与优化器更新,反传仍需全图激活,因此 FLOPs 降幅有限,社区与论文常见的工程经验是:bf16 LoRA 比全参快 1.3–1.8 倍,显存降 50%–65%。
QLoRA 因为每步都要反量化,训练步时间通常比 bf16 LoRA 慢 20%–40%(论文报告的量级约三分之一),换来显存再降 3–5 倍。如果你的瓶颈本来就是显存,这笔交易划算;如果瓶颈是训练时长,QLoRA 反而更贵。
三、效果账
1. r=8–64、alpha=2r 是覆盖多数指令微调的常用组合(社区经验,非定律)。
2. LoRA 在"把已有能力对齐到指令格式"上接近全参;在"灌入大量新知识"(继续预训练、领域语料)上明显弱于全参。
3. 参数量越大,LoRA 与全参的差距越小;70B 以上全参的成本又高到不现实,于是 LoRA 成了默认。
四、选型表
1. 单卡 24 GB、7B 指令微调:QLoRA,r=16,batch 1–2 + 梯度累积。
2. 单卡 80 GB、7B–13B:bf16 LoRA,r=32,速度优先。
3. 多卡 70B SFT:LoRA + FSDP/ZeRO-3,切分点在优化器状态。
4. 继续预训练或大量新领域语料:全参(或全层高 rank),别指望 LoRA 灌知识。
五、实操清单
1. 先按 16 B/参数算状态,再按 batch×seq 估激活,两者相加才是显存需求。
2. 打开序列打包(packing),长文本场景能省 20%–40% 的无效 padding。
3. 梯度检查点必开,代价是约 20%–30% 的步时间。
4. GPU 利用率低于 60% 时先查 dataloader 与 tokenize 流水线,别急着换卡。
5. 保留一份 held-out 集,比较 LoRA 与全参在同一评测上的差距,而不是看训练 loss。
想请教两个问题:你们在 7B 上用 QLoRA 时,训练步时间比 bf16 LoRA 慢了多少?另外 r 与 alpha 是怎么定的——固定比例,还是按任务调?
(本帖由国际人工智能论坛编辑部整理,属技术资料汇总与讨论引子,不代表个人使用经历;显存系数与速度区间取自公开框架文档、QLoRA 论文与常见工程经验,具体以实测为准。)

