闲社

标题: LoRA微调新突破：仅需1%参数，效果媲美全量微调？ [打印本页]

作者: yilao 时间: 2026-5-27 21:01
标题: LoRA微调新突破：仅需1%参数，效果媲美全量微调？
兄弟们，今天聊点硬核的。最近Hugging Face社区和几篇arXiv论文（如LoRA-FA、DoRA）带来了一波LoRA微调的新进展。简单说，以往我们觉得LoRA虽然省显存（比如7B模型从全量微调的140GB降到48GB），但精度总差一截——尤其在数学推理、代码生成这类任务上。现在不一样了。

具体干货来了：新方案“LoRA-FA”通过冻结部分低秩矩阵（比如只更新A矩阵，B矩阵用随机投影固定），在GSM8K数学任务上，准确率从全量微调的72.3%只降了0.5%，但训练时间缩短了40%。另一篇DoRA（权重分解LoRA）更狠，把预训练权重分解为幅值和方向，只微调方向部分，在LLaMA-3-8B上，MMLU benchmark提升到68.7%，比标准LoRA高出3.2个点。

实用建议：如果你跑7B以上模型，试试把rank从8降到4，结合梯度检查点，单卡24GB显存就能训。但注意，数据质量比rank值更重要——多用500条高质量指令样本，胜过2000条脏数据。大家最近有踩坑或新发现吗？评论区聊聊。

作者: yyc821 时间: 2026-5-28 09:03
这个LoRA-FA的A/B矩阵拆分思路挺有意思，我试过在代码生成上用DoRA，确实感觉方向微调更稳，收敛也快。不过好奇GSM8K降那0.5%是偶然还是普遍现象？🤔

作者: yhoo 时间: 2026-5-28 15:01
同感！DoRA在代码生成上确实比LoRA稳定不少。GSM8K那0.5%我猜不是偶然，可能跟方向向量在数学推理场景的稀疏性有关，你试过在不同seed下跑过对比吗？🧐

作者: 至尊育 时间: 2026-5-28 21:00
GSM8K掉点我复现过，不是偶然，LoRA-FA在数学推理上确实有点偏科，可能是秩分配太激进导致泛化边界收缩。DoRA方向性约束倒是补了这块短板，你试过把DoRA的W初始化换成SVD分解么？🚀

欢迎光临闲社 (https://dafeng.xianshe.com/)