拒绝全量微调，用 PEFT 和 LoRA 低成本适配行业大模型

为什么不再做全量微调？

在行业大模型落地的过程中，很多工程师都面临过一个尴尬的处境：手里有一个不错的开源基座模型，业务场景也需要特定的领域知识，但公司的显卡资源却捉襟见肘。传统的“全量微调”（Full Fine-tuning）要求加载整个模型的所有参数并进行反向传播更新。对于参数量达到 7B 甚至更大的模型来说，这不仅需要巨大的显存来存放优化器状态和梯度，往往还需要多卡并行才能跑通。更麻烦的是，每适配一个新任务，就得保存一份完整的模型副本，存储成本直线上升。

其实，我们并不需要每次都“重造轮子”。参数高效微调（PEFT, Parameter-Efficient Fine-Tuning）技术的出现，正是为了解决这一痛点。它的核心思想非常直观：保持预训练模型的主干网络参数冻结不变，仅向模型中注入少量可训练的额外参数（适配器）。实验表明，这种方法在绝大多数下游任务上能达到与全量微调相当的效果，但显存占用和训练时间却大幅降低，让单张消费级显卡微调大模型成为可能。

LoRA：低秩适应的核心逻辑

在众多的 PEFT 方法中，LoRA（Low-Rank Adaptation）无疑是目前工业界应用最广泛的方案。它没有像 Adapter 那样在神经网络层之间插入新的模块，而是从矩阵分解的角度入手，对权重更新进行了巧妙的重构。

在大模型中，权重的更新量Δ W \Delta W