(一)昇思+昇腾开发板+DeepSeek介绍
课程首先介绍了DeepSeek模型,带动了大语言模型的模型结构和训练方式转变。尤其是MoE模型如今已成为业界主流。此外是慢思考模型成业界未来方向。未来将会在预训练、后训练以及推理部署等场景迎来诸多挑战。
昇思MindSpore 2.6则全面支持Deep Seekd的MoE模型高性能训练。MindSpore从2020年3月开源以来一直壮大发展,直到今天的MindSpore 2.6(类DeepSeek高效训推)。
昇思MindSpore主要有4大板块,包括了MindSpore Transformers(新增DeepSeek支持)、MindSpore RLHF(新增GRPO等强化学习)、MindSpore Science(流体/气象/化学新特性)以及MindSpore One。此外在Huggingface和vLLM等诸多生态兼容。在数据处理方面和模型调试优化方面也是具有诸多工具。MindSpore这一套整体框架叫CAAN异构计算架构,助力高性能训练推理。
香橙派OrangePi AIpro采用昇腾AI技术路线,具体为4核64位处理器+AI处理器,集成图形处理器,支持8/20 TOPS AI算力,广泛适用于AI计算。
(二)模型开发与适配
模型适配三个主要步骤:
为什么选 1.5B 蒸馏版?
1.5B 蒸馏版=“大模型能力 + 单板可跑”的最优折中
① 环境检查:镜像烧录 → 设置 swap → 导出 CANN/MindSpore 环境变量。
注意tookit和kernels组件的部署
② 网络调试:pytest 跑 test_modeling_qwen2.py ,定位算子/loss/索引错误。
③ 经验锦囊:
缺失算子 → 用 ops.cumsum 替换 Tensor.cumsum 。
CE Loss → 用 SoftmaxCrossEntropyWithLogits 并转 one-hot。
Tensor 切片 → 把 Python tuple 转 MindSpore Tensor
最终完成环境部署