模型推理很重要的一条流水线就是：权重加载，启动推理，效果比较与调优。最重要的一条是要先让他干活，能够跑起来，然后才谈优化调优什么的。
二，通过权重加载（Lora）
采用基础模型加适配器的方式。大概意思就是先让他跑出一个整体框架，这是他框架的基础上给他增加扩展，增加功能。
启动推理的过程就是相当于让模型能够生成一些相对的内容。传递一些约束规则。制约住模型，让他在这个范围内行活动生产出想要的内容。
推理测试方面最重要的就是它的推理速度内存占比。如果退出的模型运行起来速度太慢，而且又特别占内存，就需要对其进行优化迭代。或者用的人太多了，导致高并发就需要进行优化。总的来说微调就相当于告诉教模型有哪些技能本事？推理就是让模型想办法用的更顺更好。
