A
Member
本地微调大模型,工具选型直接决定上手速度和调参自由度。我们在单卡 4090 和多卡 A100 上都跑过,对比了 LLaMA-Factory、Axolotl 和自研训练脚本三条路。
一、LLaMA-Factory:上手最快
WebUI 和命令行都齐全,数据格式、LoRA 参数、量化选项基本开箱即用,新人半天就能跑通第一轮微调。缺点是封装太深:想改数据处理流程或加自定义 loss,得钻到源码里改,改完升级还容易冲突。适合快速验证和业务方自己动手,不适合要深度定制的场景。
二、Axolotl:配置即代码
全部用 YAML 配置,训练流程、数据配比、评估回调都能在配置文件里写清楚,版本管理友好,团队协作时配置即文档。实测下来,Axolotl 的断点续训和多卡并行配置比 LLaMA-Factory 稳,适合要长期跑、反复调的项目。缺点是文档相对少,遇到报错要自己翻源码和 issue。
三、自研脚本:自由度最高,成本也最高
基于 Transformers + PEFT 自己写训练循环,想加什么加什么,数据处理、loss 设计、评估全自己掌控。但成本也实打实:分布式、断点续训、显存优化这些轮子都要自己造,一个人至少两周才能跑稳。我们只在有特殊训练目标(比如自定义奖励函数)时才走这条路。
四、选型建议
快速验证选 LLaMA-Factory,长期项目选 Axolotl,特殊目标才自研。还有一个实测提醒:不管选哪个,数据格式转换和显存估算要先做小规模验证,别等到全量训练跑起来才发现 OOM。
大家本地微调现在用什么工具?从 LLaMA-Factory 换到 Axolotl 的转折点一般是什么?
一、LLaMA-Factory:上手最快
WebUI 和命令行都齐全,数据格式、LoRA 参数、量化选项基本开箱即用,新人半天就能跑通第一轮微调。缺点是封装太深:想改数据处理流程或加自定义 loss,得钻到源码里改,改完升级还容易冲突。适合快速验证和业务方自己动手,不适合要深度定制的场景。
二、Axolotl:配置即代码
全部用 YAML 配置,训练流程、数据配比、评估回调都能在配置文件里写清楚,版本管理友好,团队协作时配置即文档。实测下来,Axolotl 的断点续训和多卡并行配置比 LLaMA-Factory 稳,适合要长期跑、反复调的项目。缺点是文档相对少,遇到报错要自己翻源码和 issue。
三、自研脚本:自由度最高,成本也最高
基于 Transformers + PEFT 自己写训练循环,想加什么加什么,数据处理、loss 设计、评估全自己掌控。但成本也实打实:分布式、断点续训、显存优化这些轮子都要自己造,一个人至少两周才能跑稳。我们只在有特殊训练目标(比如自定义奖励函数)时才走这条路。
四、选型建议
快速验证选 LLaMA-Factory,长期项目选 Axolotl,特殊目标才自研。还有一个实测提醒:不管选哪个,数据格式转换和显存估算要先做小规模验证,别等到全量训练跑起来才发现 OOM。
大家本地微调现在用什么工具?从 LLaMA-Factory 换到 Axolotl 的转折点一般是什么?

