昇思学习营-开发板介绍与模型开发与适配学习心得

(一)昇思+昇腾开发板+DeepSeek介绍

DeepSeek

DeepSeek v3/R1模型推出后轰动全球,这代表着大模型的发展已经出现了重大变化,一是MoE模型如今已成为业界主流,二是o1这种慢思考模型成为了业界未来方向,这些变化同时也带来了新的机会和挑战。

昇思MindSpore

而昇思MindSpore自开源以来不断发展,已经变得相当成熟和完善,其提供了大量接口方便开发者进行开发,避免重复造轮子,而且现已全面支持Deep Seek的MoE模型高性能训练。

香橙派

香橙派是一种用于ai处理和开发的开发板,类似树莓派,但是其设计上更适用于运行ai大模型,其运算能力足以运行市面上常见的轻量级模型,可以让我们摆脱电脑和资源的限制,其相对小巧的体积很适合用于机器人或智能小车等场合。
而随着香橙派的不断发展,现已具备开发友好,性能提升,全流程支持等多项优势。

模型开发与适配
虽然 DeepSeek的v3和r1功能和实力十分强大,但是其对硬件算力的需求是极其巨大的,而通过蒸馏技术能够在大幅降低硬件算力的前提下尽量接近原模型的水平,这种轻量级蒸馏模型更加适合普通的个人开发者,也便于在香橙派这种开发板上运行。
接下来老师讲了模型在香橙派上开发和适配的具体操作流程,也列举了诸如算子缺失,loss损失函数报错,以及tensor索引切片报错等常见的问题,而对这些报错的处理很好的体现了昇思框架的便利性和优势。