MindSpore模型Pipeline并行发现有些卡的log中loss为0

1. 系统环境

硬件环境(Ascend/GPU/CPU): Ascend
MindSpore版本: 2.2
执行模式(PyNative/ Graph): 不限

2. 报错信息

2.1 问题描述

MindSpore模型Pipeline并行发现有些卡的log中loss为0

3. 根因分析

该情况下可能不是问题,pipeline并行需要查看最后一张卡的loss,其余卡的loss均为0。