LoRA 的介绍
大模型的参数动辄几十亿、上百亿，训练起来非常费时费力。LoRA 的思路是：
“与其动大模型的全部参数，不如只训练一个低秩矩阵来微调它。”
具体来说：
- 假设原始模型的权重矩阵是 WW。
- LoRA 引入一个新的矩阵 ΔW=A⋅BΔW=A⋅B，其中 AA 和 BB 是低秩矩阵（rank 很小，比如 4 或 64）。
- 最终模型使用的是 W+ΔWW+ΔW，但训练时只更新 AA 和 BB，而原始 WW 被冻结。
这样一来，训练的参数量大大减少，节省了显存和时间，还能保持不错的效果。
这就是他的主要工作流程，有点四两拨千斤或者是给你额外点亮一个技能点的意思。
由于环境已经配置好了，下面我们直接开始进行lora的微调实操
下载与处理数据集：
下面进行微调参数配置：
开始启动训练：
可以看到训练已经完成，我们的模型文件也存储到了对应的位置。
