昇思学习营第七期-模型LoRA微调学习心得

本次课程我们需要进行模型LoRA微调。
要进行以下步骤:

  1. 实例化base model
  2. 配置LoraConfig
  3. 实例化LoRA模型
  4. 查看模型中参与微调的参数,仅占总参数量的0.5%
    对于没有开发板的同学来说,可以去Jupyter云上开发环境中的Ascend环境来进行本次LoRA模型微调,这个环境已经将课程内容中的基本代码准备好,只需要运行代码,最后输出时间和名字即可完成,很是方便
1 个赞