通过这个模块的学习,我了解了如何在虚拟的香橙派开发板上对已有的DeepSeek蒸馏程序进行微调的手法,也在已有的深度学习基础上,进一步增进了把通用底座模型进行定制化和本地化的技能。
这一模块在未来的课程开发方面,需要首先具备对深度学习模型的理解、了解微调前对微调数据的清洗,因此对代码的理解要求更高,而且必须在读懂代码的同时,知道大模型的参数里面,其实可供训练的仅有冰山一角(仅占总参数的0.5%)。因此大模型的LoRA微调看似神秘,其实是一个很方便的大模型落地方法。
在进阶方面,还可以通过加载FP16参数的模型,以及根据开发板的基础配置去优化微调的时间和算力成本,这些都是这一模块的学习还可以增强的部分。