最后一节课程，需要进行模型推理和优化。前面已经通过Lora微调了一个模型，这节就尝试来加载微调模型进行推理。
##学习过程
经过上节的Lora微调之后，我们可以在output文件夹下找到微调后的模型参数文件：
可以通pwd指令来获取完整路径：
然后打开没有后缀的那个笔记，取消加载微调模型代码之前的注释，并将微调模型路径替换成刚才的路径，顺便将系统提示词也改一下：
由于Lora并不会改变原模型的所有参数，而是将微调后的参数单独存储，所以需要同时加载原来的模型参数和微调参数，当然后续也可以通过参数合并将两者合一。
然后一路运行到最后就可以运行微调后的模型了：
用训练集中的提示词试了一下，感觉不太聪明的样子，主要是训练的数据和epoch都比较少：
玩够了可以输入stop退出：
接下来是jit优化，打开jit的笔记，删除掉开启O2优化的代码，这个是只在开发板上开启的，云上平台需要取消：
之后一路运行就可以了。
##学习心得
因为之前对于大模型有过一些基础，所以这一次的学习主要以适应新平台为主，感受下来和其他框架的差别并不是很大。本来是想学习一下在开发板上的部署，但是云上平台并不能完全模拟开发板的情况，二者还是有一些差别。
整体来说这次课程和想象中的有些差距，中间出了很多问题，审核人员也不足，和以前昇思的打卡活动相比准备并不充分。希望以后办方能够做好准备再举办活动吧，本来这种活动是应该打开知名度，展示优势的，如果因为各种意外给人留下不好的印象就得不偿失了。