昇思学习营-LoRA微调学习心得第二节

[Beyondcr7]

LoRA 是一种PEFT方法。通过冻结原始模型参数，在 Attention 层等模块引入低秩旁路结构，仅更新低秩矩阵矩阵A/B，减少参数量和开销，同时保持较好性能。
在昇思大模型在线平台对该章节的代码进行了实际的调试，对照课程视频，详细阅读了代码，熟悉了使用MINDSPORE的mindnlp对大模型进行LORA微调的流程。