昇腾设备训练似乎和CPU训练有所差异,使用mindspore在昇腾训练时,对于分类任务,不支持mindspore.int64,但是CPU上没有这个问题。而且在使用全零初始化权重的情况下,二者收敛速度差异较大,在昇腾上收敛速度远快于CPU,为什么会有这种情况?
还有就是推理时mindspore-lite默认使用float32还是float16?
用户您好,欢迎安装使用MindSpore。已经收到上述问题,会尽快答复~
1.对于分类任务,不支持mindspore.int64
→ 这个应该是某个算子在昇腾下不支持int64,但是cpu下支持int64
2.速度快
→ npu的作用不就是加速运算.肯定要比cpu快.架构决定的.
3.mindspore lite推理的类型
这个不是由模型决定的吗?模型如果定了输入和内部算子的类型,整个流程就是定了.
不是训练速度快,是优化速度快,损失值降得快。相同训练轮次下,Ascend设备上得损失下降远快于CPU
这个真没注意过,理论上算子的计算结果不会相差太大,所以不应该出现这种情况.
是的,因为我本地没有昇腾环境,我在本地测试CIFAR10的训练情况时使用得CPU,前20个epoch从2.4下降到2.0左右,昇腾上从2.1下降到了1.7,所以感觉很奇怪
2.4下降到2.0
2.1下降到了1.7
你是说2.4和2.1的差异吗?这个估计是有些算子的初始化权重不一致造成的,除非你把所有的算子的权重初始化为0.
@minder 用户您好,MindSpore支撑人已经分析并给出了问题的原因,由于较长时间未看到您采纳回答,这里版主将进行采纳回答的结帖操作,如果还其他疑问请发新帖子提问,谢谢支持~
此话题已在最后回复的 60 分钟后被自动关闭。不再允许新回复。