【MindSpore Lite GPU推理】RTX 50系列(Blackwell/CUDA 12)是否有适配计划?

一、项目背景

安防无人机巡检项目。
链路:PyTorch YOLO → 导出 MindIR → MindSpore Lite 2.7.0 前向推理(仅推理,无训练)。
最终部署硬件:Atlas 310P V3(300i duo)。
无硬性软件版本锁定,可根据官方建议调整环境。

二、当前环境与问题

  • 显卡:RTX 5060 Ti(Blackwell 架构)
  • 系统:Ubuntu 24.04 x86_64 或者ubuntu 22.04
  • MindSpore Lite 2.7.0 GPU 后端仅适配 CUDA 11.1
  • 该显卡硬件最低仅支持 CUDA 12+,无法原生运行 CUDA 11.x
  • PTX 兼容模式存在不稳定和精度偏移风险

三、咨询问题

1. MindSpore Lite 2.7.0 是否有支持 CUDA 12 的 GPU 推理包?若无,后续哪个版本会适配?

2.若需在 x86 PC 端用 NVIDIA GPU 稳定跑 Lite 2.7.0 推理,推荐哪些显卡架构(Turing/Ampere/Ada)?
3.Docker 封装 Ubuntu 22.04 + CUDA 11.1 调用 50 系显卡推理,输出数据是否可靠?
4. 若用 Atlas 200I DK A2调试,后续迁移至 310P V3,不知是否可行,算子精度和推理逻辑是否完全一致?

麻烦昇思工程师和论坛大佬解惑,感谢!

1 个赞

最终部署硬件:Atlas 310P V3(300i duo)。
最终的部署硬件是310P,为什么会有调试GPU?

目前没有进一步规划适配GPU的计划,不过MindSpore Lite很早,在2.0-2.2左右的版本应该是支持GPU(TRT),如果感兴趣可以看看之前的代码与使用教程;

针对问题4:功能基本可以平移,但是精度可能存在细微差异,因为不同硬件的内置算子存在差异;MindSpore Lite的框架逻辑是一样的,但是CANN的算子存在差异

由于大量社区举报,此话题被临时关闭至少 4 小时。

此话题已在 24 小时后被自动打开。