【昇思学习营第七期·昇腾开发板】20250803_学习打卡_3

活动公告 Activities 活动打卡
1

优化推理部分

JIT 优化配置：

mindspore.set_context(
   enable_graph_kernel=True,
   mode=mindspore.GRAPH_MODE,
   jit_config={"jit_level": "O2"}  # O2级别优化
)

关键优化点：

  • 使用model.jit()将模型静态图化
  • 用@mindspore.jit装饰器封装推理函数，加速单 token 解码
  • 采用StaticCache缓存机制，优化自回归生成过程

推理效果：

  • 首次 token 生成耗时较长（约 18 秒）
  • 后续 token 生成速度显著提升（约 0.11 秒 / 个）

其他

  • 模型生成时可能出现关于 attention mask 和 pad token 的警告，可通过设置对应参数解决
  • Sliding Window Attention 在 eager 模式下未实现，可能导致意外结果
  • 通过 MindSpore 的 JIT 编译技术，能有效降低 DeepSeek-R1-Distill-Qwen-1.5B 模型的推理耗时，尤其在自回归生成的后续步骤中优化效果明显。结合 MindNLP 提供的工具链，可快速实现模型部署和交互式对话功能