我的环境是香橙pi aipro20T 24G,mindnlp0.4.1,minspore2.5.0（或者2.6.0）,cann-toolkit和kernel安装过稳定版的8.0.0，8.1，8.2都会报错，具体的就是使用Qwen2VLForConditionalGeneration, Qwen2VLProcessor可以加载qwenvl2模型和处理器，但是推理generate时报错Cannot find binary for op BatchMatMulV2，swap空间给了32G，显存也没有超，想请教下如何解决？
1、CANN的8.0RC，8.1RC，8.2版本，mindspore2.5.0，2.6.0都尝试过
2、推理时configs.USE_PYBOOST = False这个也尝试过
3、mindspore.set_context(mode=mindspore.PYNATIVE_MODE,)
mindspore.set_context( mode=mindspore.GRAPH_MODE,)
4、输入打印过确定是float16和int32类型
之后也试了很多方法都没法解决这个内核报错
用户您好，欢迎使用MindSpore。已经收到上述问题，会尽快答复~
香橙派不支持BatchMatMulV2算子
那请问下像是这种qwen2vl这种模型在香橙派上的推理怎样能避开这个算子呢？
可以给一个大概的思路和方法嘛？谢谢了
换其他模型或者根据支持的API改写BatchMatMulV2
@ywsyah 用户您好，MindSpore支撑人已经分析并给出了问题的原因，由于较长时间未看到您采纳回答，这里版主将进行采纳回答的结帖操作，如果还其他疑问请发新帖子提问，谢谢支持~
此话题已在最后回复的 60 分钟后被自动关闭。不再允许新回复。