1 系统环境
硬件环境(Ascend/GPU/CPU): Ascend
MindSpore版本: mindspore=2.6.0
执行模式(PyNative/ Graph): 不限
Python版本: Python=3.9
操作系统平台: Linux
2 报错信息
2.1 问题描述
onnx模型转换为.mindir格式后,查看profiling数据,其中transdata算子耗时占了总耗时的23.6%,这种情况下一般是什么原因?
按照如下试了下,[acl_build_options]里的input_format=“ND”,[ge_session_options]里的ge.exec.formatMode=1都配置上,结果还是一样,这种情况是否可以说明和配置无关,就是部分算子不支持ND格式导致?
主要算子消耗是BatchMatmul、SelectV2、SoftmaxV2、LogSoftmaxV2、LayerNorm, 此时如何判断是哪些算子不支持ND格式?
试着看了下dump出来的ge图, softmax,batchMatmul,select等很多算子之前看起来都有transdata,是否正常?
尝试着又配置了下plugin_custom_ops=BatchMatmulToMatmul,想看看是否BMM和MM会不同,结果执行benchmark时加载模型报错:CreateDataBuffer] Malloc device buffer failed.
3 根因分析
此处由用户填写~
4 解决方案
此处由用户填写~
包含文字方案和最终脚本代码 请将正确的脚本打包并上传附件