在对模型LoRA微调的过程中,通过冻结原始网络参数,对Attention层中QKV等添加旁支,包含两个低维度的矩阵A和矩阵B,微调过程中仅更新A、B 矩阵,从而使训练参数被大幅降低,资源消耗较低。 整个过程为: 1.实例化base model 2.配置LoraConfig 3.实例化LORA模型 4.查看模型中参与微调的参数,仅占总参数量的0.5%