昇思学习营第七期·昇腾开发板 学习打卡_第一 次
昇思+昇腾开发板+DeepSeek
在探索低成本玩转大模型的道路上，昇思 + 香橙派 + DeepSeek 的组合为我们学生群体带来了新的希望与可能，我们在大模型领域的探索之旅。
1、昇思 MindSpor
昇思 MindSpore 是华为开源的一款国产深度学习框架，在全场景 AI 开发领域熠熠生辉，端、边、云各个场景都能看到它的身影。对于我们学生而言，它具有诸多令人心动的优点。
简单易操作：其类 PyTorch 接口，极大地降低了学习门槛。对于熟悉 PyTorch 的同学来说，能够快速上手昇思。
具有较强的兼容性：支持多种硬件，通过香橙派，就能搭建起自己的 AI 开发环境，进行模型的训练与推理。
效率高且节省资源：在模型训练和推理中，昇思极为轻量，即使是小设备也能轻松应对，因此，在自己的电脑或开发板上就能高效地开展 AI 项目。
2、香橙派（Orange Pi）
香橙派作为国产开源硬件平台，性价比极高，可类比为类似树莓派的存在。以香橙派 5 为例，其配备 4 核 ARM + 8GB 内存，价格却只要几百块，却能轻松跑轻量级 AI 模型，为模型的运行提供了硬件层面的加速支持。
系统兼容性：可安装 Ubuntu、华为自研欧拉等系统，为用户提供了多样化的系统选择。
框架支持：支持昇思框架（MindSpore Lite），与昇思的完美结合，进一步拓展了其在 AI 领域的应用场景。
3、DeepSeek
DeepSeek 由深度求索团队推出，在国产大模型领域异军突起。其开源免费且性能强大，尤其是在代码编写合中文理解方面表现良好。
功能多样：支持代码生成、文本理解、数学推理等多种功能
部署便捷：可在昇思框架上部署运行，并且提供 API 和本地部署方案。因此我们可以在不同场景下使用 DeepSeek。
4、组合优势
昇思 + 香橙派 + DeepSeek 的组合，为我们学生带来了很好的学习体验。利用香橙派的硬件平台，搭载昇思框架，再结合 DeepSeek 强大的大模型能力，我们可以在宿舍中搭建起自己的 AI 实验室。进行模型的训练、优化和应用开发，实现从理论学习到实践操作的无缝对接。
二模型开发与适配
因为没用香橙派的开发板，通过昇思大模型平台，进行开发环境的安装和检查的模拟。
DeepSeek 推出的 DeepSeek-R1-Distill-Qwen-1.5B，是基于 R1 生成的 80 万条高质量推理数据，对 Qwen 2.5 开源模型进行监督微调得到的最小规模蒸馏模型，易部署并且具有出色推理能力。其在香橙派上的开发与适配过程如下图：
1、进行昇腾开发板镜像烧入。通过balenaEtcher制卡工具烧录镜像，过程步骤如下：
a.选择要烧录的镜像文件（上文1.2下载Ubuntu镜像的保存路径）。
b.选择TF卡的盘符。
c.点击开始烧录。
烧录和验证大概需要20分钟左右：
2、检查cann-toolkit的版本
通常在usr/local/Ascend,选择ascend-toolkit,找到latest,选择aarch64-linu
3、mindspore版本查看 pip show mindspore
4.mindnlp版本查看 pip show mindnlp,具体内容可在https://www.mindspore.cn/tutorials/zh-CN/r2.6.0/orange_pi/environment_setup.html中查看
5、网络调试
MindSpore NLP套件中有针对模型的ut测试，可通过pytest来测试模型在香橙派的训练和推理，并进行问题定位和调试
6、针对香橙派上Tensor索引/切片报错的处理方式
执行测试用例
pytest -s -v tests\ut\transformers\models\qwen2\test_modeling_qwen2.py::Qwen2ModelTest::test_beam_search_generate_dict_outputs_use_cache
总的来说，这节课我们了解到了香橙派以及其环境的安装，以及操作。然后就是环境的配置。与平时使用的树莓派很像，但是性能远超树莓派。