通过本节《DeepSeek-R1-Distill-Qwen-1.5B 模型 LoRA 微调》课程，我最大的体会是“小资源也能玩转大模型”。以前总觉得 1.5 B 参数量的模型必须在服务器上跑，没想到在香橙派 AI Pro 这类边缘设备上，只要思路对，一样可以把微调跑起来，而且效果还不错。
课程把 LoRA 的思想讲得很直观：冻结原模型 99.5 % 的参数，只训练两个低秩矩阵 A、B，显存瞬间从 5.6 GB 降到 2.3 GB；再配合 FP16 权重直接加载、限制 Python 进程数、用 cgroup 给 OS 和 NPU 分内存这三板斧，真正做到了“省显存、不掉速”。MindSpore 的数据处理 Pipeline 和 Hugging Face 相比虽然语法不同，但 .map() 的思想一致，把文本 token 化、对齐标签做成 Transforms 后，代码反而更清晰。
让我印象最深的是自定义的 SavePeftModelCallback。每 N 步只保存 LoRA adapter（几十 MB），而不是整个模型（几个 GB），既节省了磁盘，又方便后续热插拔。最后的对话 demo 里，模型对“许愿说破不灵”的回复居然有模有样，让我切实感受到：数据虽小，只要方法得当，大模型也能“学得会”。
总结一句话：LoRA + MindSpore + 香橙派 = 用最低成本撬动大模型微调。下一步我准备把课程里的内存优化脚本固化到 Docker 镜像里，再把业务数据替换进去，真正把“课堂案例”变成“生产工具”。