昇思学习营第七期 day3

活动公告 Activities 活动打卡
1

通过对第五章相关视频教程的学习，了解到模型推理的流程主要有权重加载、启动推理、效果比较与调优、性能测试、性能优化。
性能优化
前序准备

  1. 实现解码逻辑（decode函数、prefill-decode阶段）
  2. 实例化StaticCache，动态Cache无法成图
    添加jit装饰器
  3. 设置O2整图下沉进一步优化
  4. model.jit()
  5. mindspore.jit装饰decode函数