昇思学习营第七期 day2

活动公告 Activities 活动打卡
1

通过对第四章相关视频教程的学习，了解了LoRA微调的概念，LoRA（Low-Rank Adaptation）是一种参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法。 其核心思想是冻结原始网络参数，对Attention层中QKV等模块添加旁支。旁支包含两个低维度的矩阵A 和矩阵B，微调过程中仅更新A、B 矩阵，通过这种方式能够达成大幅降低训练参数，降低资源消耗的效果。

  1. 实例化base model
  2. 配置LoraConfig
  3. 实例化LoRA模型
  4. 查看模型中参与微调的参数，仅占总参数量的0.5%
    流程为环境准备与检查、代码下载、权重下载、其他环境准备、启动运行。