昇思学习营昇腾开发板+DeepSeek介绍+模型开发与适配学习心得

活动公告 Activities 活动打卡
1

昇思+香橙派+DeepSeek介绍

变化一：MoE模型结构成为业界主流
变化二：类o1/R1慢思考模型成业界关键探索路径
带来了框架的机会与挑战。
MindSpore对接和使用了CANN的算子。
还支持动态图、多级流水直调和无图融合优化等。

昇腾开发板 - OrangePi AIPro

采用了昇腾AI技术路线，4核64位处理器+AI处理器，集成图形处理器，支持8/20 TOPS AI算力。满足大多数AI算法原型验证、推理应用开发的需求。

资料获取：可以在香橙派官方资料、昇腾开发板专区、昇思开发板开发教程中查找。

技术能力进展

开发友好：动态图易用性提升，类huggingface风格降低开发调试门槛。
性能提升：mindspore.jit编译成图，三行代码实现推理性能提升一倍。
全流程支持：在香橙派上支持模型训推。

DeepSeek-R1-Distill-Qwen-1.5B 模型开发与适配

虽然 V3 和 R1 实力强大，但是需要 8 张 141GB 显存的 NVIDIA H200GPU，运行成本高，不适合所有人。

开发步骤

  1. 系统烧录与启动
  2. CANN安装
  3. MindSpore安装
  4. MindSpore NLP安装
  5. 网络调试
  • 注意8/12T 和 20T，烧录各自的镜像，要不容易跑不通。
    CANN和MindSpore要注意版本之间的关系

网络调试

设置环境变量：export RUN_SLOW=True
执行命令：pytest -v -s tests/transformers/models/qwen2/test_modeling_qwen2.py
加入mindspore.set_context(pynative_synchronize=True)可以查看报错位置并根据报错信息修改。