第四章 模型LoRA微调

学习第四章后,我了解到LoRA微调通过冻结原始网络参数,在Attention层的QKV等添加含低维度矩阵A和B的旁支,仅更新这两个矩阵,大幅降低训练参数和资源消耗,参与微调的参数仅占总参数量的0.5%,其流程包括实例化基础模型、配置LoraConfig等;还学习了基于昇思框架对DeepSeek-R1-Distill-Qwen-1.5B模型进行LoRA微调的实战,涉及环境准备、数据预处理(用.map方法)、保存权重、优化内存(如加载fp16权重)等,以及完整代码实现,让我对大模型微调有了具体认识。