模型并行显示内存溢出

1 系统环境

硬件环境(Ascend/GPU/CPU): Ascend
MindSpore版本: 2.2.0
执行模式(PyNative/ Graph): 不限

2 报错信息

  • 模型并行显示内存溢出

3 根因分析

  • 一般是因为模型太大。

4 解决方案

  • 需要用多卡或者多机跑,整体HBM至少模型大小的4倍。