模型推理与部署的核心是实现交互式对话并呈现特定风格，原理是加载微调参数让模型按学习模式预测生成。
借助 MindSpore 工具，AutoModelForCausalLM 构建模型结构，AutoTokenizer 预处理文本，PeftModel.from_pretrained 载入 Adapter 权重，使模型体现微调风格。Gradio 搭建 Web 界面，将推理封装成服务实现便捷交互。build_input_from_chat_history 函数保留上下文，基于语言模型对上下文的依赖提升理解能力。生成配置参数各有原理：max_new_tokens 平衡完整性与效率；top_p 依累积概率控制输出多样性；repetition_penalty 惩罚已生成 token 避免重复。
性能优化针对昇腾开发板资源有限的情况：float16 减少存储提升速度；限制多线程避免资源竞争；保留 Adapter 权重节省空间；异步推理让生成与显示分离，提升体验。
课程中，静态图编译、算子融合等优化技术各有作用。实践中，用图算融合等解决速度问题，混合精度应对精度波动，分片加载优化内存。
此次学习让我明白，模型推理与优化需理论结合实践，每项技术都有深层原理，灵活运用才能高效部署，深刻体会到模型的强大。