如果可以的话请拿 https://huggingface.co/Qwen/Qwen2.5-0.5B 模型举例~
用户您好,欢迎使用MindSpore Lite,模型转换问题的已经在您最新的问题帖子中进行答复,还请关注模型转换失败:not support onnx data type IsNaN
当前huggingface上的模型,主要是torch的脚本+safetensor的权重,当前MindSpore Lite支持第三方的模型,是通过ONNX的模型进行图传递的,所以开发者如果想基于MindSpore Lite进行推理,需要基于开源的模型导出onnx模型,然后使用MindSpore Lite的转换工具进行转换成.ms,然后执行推理;
当前脚本导出onnx的方式可以直接参考torch.export的逻辑
1 个赞
顺便确认一下,你这边需要转换成.ms的模型?是在什么硬件上执行推理?
此话题已在最后回复的 60 分钟后被自动关闭。不再允许新回复。