2026-08-09 06:24:34 分类：科技
LoRA，全称Low-Rank Adaptation，这玩意现在在LLM微调界几乎无人不晓了。但多数人理解也就停留在“加个低秩矩阵”上——你真的想明白了为啥加个低秩矩阵就能等效全量微调？我一开始也是图样图森破。
说实话，全量微调就像是把整个引擎拆了重装，每个螺丝都得拧一遍，费时费力还容易拧坏。而LoRA……它只在旁边加了个小挂件，就实现了差不多的性能。这不科学？但它就是科学。
矩阵的“降维打击”
先看全量微调的数学：假设预训练权重矩阵是W0，微调后变成W0+ΔW。全量微调直接更新整个ΔW，这对于175B的GPT-3来说，ΔW就是一个超级大的稠密矩阵，需要存整个矩阵的梯度，显存直接爆炸。
LoRA的精髓在于，它假设ΔW是低秩的。也就是说，ΔW可以分解成两个小矩阵的乘积：ΔW = BA，其中B∈R^{d×r}，A∈R^{r×k}，r远小于d和k。原本要学d×k个参数，现在只学(d+k)×r个。比如d=k=4096，r=8，参数量从1677万降到6.5万，只有原来的0.4%。
LoRA模型低秩分解原理图 一毛钱都不多花？来看实打实的压测数据
当然，光有理论不行。我们看些接地气的对比。以LLaMA-7B为基座，用Alpaca数据集微调。
全量微调（Full Fine-tuning）：显存占用超过60GB（一块A100 80G都紧张，得用ZeRO-Offload），训练速度慢如老牛，参数增加零（和基座一样，但需要存储完整模型副本用于反向传播）。最终准确率假如是92.3%。
LoRA（r=16，仅对q_proj和v_proj插入）：显存占用直接降到仅21GB ，一张3090都能跑得飞起。训练速度提高了近3倍（因为减少了通信和显存搬运）。参数量呢？可训练的只有8.4M，占基座参数的0.12%。而准确率，达到了91.8%，几乎无差。
LoRA与全量微调显存占用柱状图对比 单张A100上微调 。训练显存从>600GB降到~150GB。这意味什么？意味着我们这些穷逼实验室也能摸一摸175B的屁股了，爽不爽？
数据来自Hugging Face的PEFT库官方benchmark，以及微软LoRA论文中的Table1。LoRA在GLUE基准上甚至有时候能反超全量微调，因为它可能充当了一种隐式正则化 ，防止过拟合。
落地三道坎，摔过才懂
落地三道坎，摔过才懂 第一坑：秩r的选择就像开盲盒
r太小，模型容量不够，学不到东西；r太大，参数量上去了，显存和训练速度回归全量微调。而且不同任务、不同层的最优r可能完全不同。我早期在某情感分类任务上，用了r=4，结果烂得像随机猜；调到r=32，效果才好。后来发现，Q（查询）和V（值）矩阵对秩更敏感。
解决方案：别偷懒，用r=8或16作为起点，但最好针对每层做超参数搜索。或者，用DyLoRA这种动态秩方法，在训练过程中自适应调整。另外，优先在Attention的Q、K、V、O上插入，暂缓FFN层。
第二坑：学习率设置，差之毫厘谬以千里
LoRA的学习率通常需要比全量微调大得多——一个数量级。为什么？因为LoRA只更新少量参数，梯度信号相对于大矩阵的乘积来说比较稀疏。如果用全量微调的学习率（比如1e-5），LoRA可能几乎学不动。
我们团队的经验是，对于AdamW优化器，LoRA的学习率设置在1e-4到1e-3之间比较靠谱。而且，最好对A矩阵和B矩阵使用不同的学习率？实际上，标准的LoRA对A用高斯初始化，B用零初始化，保证ΔW初始为零。学习率可以统一设置，但有些变体如LoRA+建议为B矩阵设置更大的学习率，因为B矩阵初始为零，需要更快更新。不过一般情况，统一lr够了。
第三坑：部署时忘记合并权重，或者乱合并
很多人训练完LoRA，推理时还傻傻地留着单独的adapter，导致推理延迟增加。记住，LoRA最大的优势之一是零推理延迟 ——只要把BA乘进原权重。但合并时要注意数据类型和精度，别搞出精度损失。我们有一次合并到FP16的模型后，精度掉了2个点，折腾半天才发现是由于A和B都是FP32训练，直接转换时数值溢出。解决方案：在合并前将LoRA权重和基座模型都转为相同的高精度（如FP32），合并后再转回推理精度，并且检查数值范围。
最后啰嗦一句，LoRA虽然香，但它不是银弹。对于某些需要大量世界知识注入的任务，比如让模型记住几千个新事实，LoRA那点参数量可能真不够，这时候可以考虑结合其他PEFT方法，或者干脆熬一熬做全量微调。但大多数指令微调、适应领域风格的任务，LoRA绝对够用，且性价比无敌。
好了，就到这儿。希望这篇文章不是又一篇AI八股文——你懂的。
免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。如有侵权请联系删除。
上一篇Stable Diffusion的“免费”幻觉：一场垄断、算力与盈利模式的暗战
下一篇QLoRA：算力霸权瓦解，大模型微调的平民化核弹
