昇思(mindspore)云上实验室,lora微调实验

昇思(mindspore)提供了一个云上平台

昇思大模型平台
可以用于在没有算力机的时候测试和部署各种小玩意
看了一下,配置都还是很不错的


里面也有很多小例程
这次用它来对deepseek进行微调
下面是课程链接
昇思大模型平台
跳转到lora

接下来就漫长的download和debug时间了



进行lora训练的时候,发现微调占的参数比例不高,#获取模型参与训练的参数,发现仅占总参数量的0.5%,应该很快就可以训练完成,

结果也如预期所料,一下子就完成了

那么打卡吧