全量微调和 LoRA（Low-Rank Adaptation）是大语言模型微调中两种主流方法，核心差异在于参数更新范围和资源需求，具体对比如下：

1. 全量微调（Full Fine-tuning）

• 原理：对预训练模型的所有参数进行更新，使模型完全适配下游任务。
• 优点：
  • 充分利用下游任务数据，理论上能达到最佳性能，尤其适合数据量充足的场景。
  • 模型对任务的 “专属度” 高，能学到更细致的任务特征。
• 缺点：
  • 资源消耗极大：需要大量 GPU 内存（例如微调 13B 模型可能需要数十 GB 显存），训练成本高。
  • 过拟合风险：当下游数据量较小时，容易记住训练数据细节，泛化能力下降。
  • 存储成本高：微调后的模型与原模型体积相同（如 13B 参数模型仍需数十 GB 存储），不利于多任务部署。
• 适用场景：数据量充足（如百万级以上样本）、任务复杂且对性能要求极高、计算资源充足的场景（如企业级大模型定制）。

2. LoRA（Low-Rank Adaptation）

• 原理：冻结预训练模型的大部分参数，仅在部分层插入低秩矩阵（通过分解高维矩阵为两个低维矩阵的乘积），仅更新这些低秩矩阵的参数。
• 优点：
  • 资源需求低：仅训练少量部分参数（通常是原模型的 1%-10%），显存需求大幅降低（例如微调 13B 模型可能只需单张消费级 GPU）。
  • 泛化能力强：冻结的预训练参数提供稳定的基础能力，低秩矩阵专注学习任务特异性知识，不易过拟合。
  • 部署灵活：微调后仅需保存低秩矩阵参数（通常几 MB 到几十 MB），可与原模型结合使用，支持多任务切换。
• 缺点：
  • 性能上限略低于全量微调（在数据充足时），因为仅更新部分参数，可能无法充分挖掘模型潜力。
  • 对低秩矩阵的设计（如秩的大小）较敏感，需调参优化。
• 适用场景：数据量有限（如万级到十万级样本）、计算资源有限、需要快速适配多个任务的场景（如研究者、中小企业微调）。

核心差异总结

实际应用中，LoRA 因效率优势成为主流，而全量微调更多用于追求极致性能的场景。