我这边model1和model2的权重其实是一模一样的,有没有法子让model2直接复用model1内存(或者说显存)里的权重,避免重复加载导致内存翻倍?
目前mindspore lite是否支持这个机制?
我这边model1和model2的权重其实是一模一样的,有没有法子让model2直接复用model1内存(或者说显存)里的权重,避免重复加载导致内存翻倍?
目前mindspore lite是否支持这个机制?
如果权重是一模一样的话,可以通过权重的显存共享实现,当前这个功能是已经支持了的
在根据文档中的权重复用方法测试时,碰到了一些问题,issue如下:
https://gitee.com/mindspore/mindspore-lite/issues/IDIFPA?from=project-issue
相关的问题原因以及分析在对应的issue上做了回复,可以看一下issue
通过这个获取一下昇腾的日志,方便看一下具体的报错
未设置GE直接加载ms的mindir错误日志.zip (9.9 KB)
issue中提到的未设置GE时加载mindspore直接导出的mindir时的错误,我设置:
export GLOG_v=3
export ASCEND_GLOBAL_LOG_LEVEL=3
export ASCEND_SLOG_PRINT_TO_STDOUT=1
设置后在屏幕打印的日志,字数太多,没法直接上传,打包在了zip压缩包里: