昇思学习营第七期-模型LoRA微调学习心得2

活动公告 Activities 活动打卡
1

LoRA 通过冻结原始模型参数，在 Attention 层等模块引入低秩旁路结构，仅更新低秩矩阵，在减少参数量和开销的同时提高模型的性能。

image
image1280×686 142 KB

image
image1280×665 80.2 KB

image
image1280×579 105 KB

1880×1140 258 KB

1873×1145 379 KB

1881×1144 314 KB

1866×1135 245 KB

998×559 186 KB

2147×1199 403 KB

2152×1173 309 KB

2171×1128 392 KB

转换为特定权重的方法保存特定数据类型的模型

746×266 132 KB

2163×1066 379 KB

2151×1042 242 KB

1971×1259 272 KB

1964×1252 290 KB

1970×1249 352 KB

1855×631 177 KB

1858×165 96.8 KB

1851×956 316 KB