通过本次 “模型 LoRA 微调” 课程学习，我对基于昇思 MindSpore 实现大模型轻量化微调有了系统认知。课程围绕 LoRA（Low-Rank Adaptation）技术展开，详细讲解了其核心原理：通过冻结预训练模型主参数，仅训练低秩矩阵来实现模型适配，既降低资源消耗又保留模型能力。实践中，我在昇思大模型平台的 Ascend 环境中操作，先加载 DeepSeek-R1-Distill-Qwen-1.5B-FP16 模型和对应 tokenizer，按课程指导配置 LoraConfig 参数，包括设置 target_modules 为注意力和 FeedForward 层关键模块、r=8 的低秩矩阵维度、lora_alpha=32 的缩放因子及 0.1 的 dropout 比例。实操中遇到不少问题：初始因未正确指定 ms_dtype 导致精度不匹配报错，通过核对模型文档将数据类型统一为 mindspore.float16 解决；配置 target_modules 时漏写部分层导致微调效果不佳，参考课程 PPT 补全模块列表后改善；训练时出现内存溢出，采用课程讲的梯度累积和降低 batch_size 方法解决。老师分享的踩坑经验很实用，比如如何通过对比训练前后 loss 变化判断参数有效性，以及用 PeftModel 包装模型的规范流程。整个过程让我明白，LoRA 微调成功的关键在于参数配置合理性和硬件适配细节，官方文档的参数说明和社区的调试案例是重要支撑，这些收获为我后续开展自定义数据集微调打下了扎实基础。