在基于昇思 MindSpore NLP 平台和昇腾 AI 开发板的实践中，我以《甄嬛传》对话风格模仿为任务，使用 DeepSeek-R1-Distill-Qwen-1.5B 模型结合 LoRA 方法完成了微调，不仅对 LoRA 核心原理有了清晰认识，也学习了具体实操流程。
LoRA 作为参数高效微调技术，核心是为大模型添加 “轻量插件”—— 通过冻结预训练模型全部基础权重，仅在 Q、K、V 和 FFN 等关键模块插入可训练的低秩矩阵 A 和 B，实现新任务适配。这种方式大幅降低了训练参数量，却能接近全量参数微调效果，尤其适合资源受限环境。其实现需经三个关键步骤：首先利用 AutoModelForCausalLM 和 AutoTokenizer 加载基础模型；然后通过 LoraConfig 配置目标模块、秩 r（决定低秩矩阵规模，r 越小参数越少）和缩放因子 lora_alpha 等；最后用 get_peft_model 构造微调模型。
此次实践让我深刻体会到 LoRA 在资源受限场景中以极小参数成本实现大模型任务适配的高效性，也学习了昇思生态下的技巧，为后续任务打下了基础