模型初始化和加载时间过长如何解决

经验分享 Tech Blogs 其他干货-Others
1

系统环境

硬件环境(Ascend/GPU/CPU): GPU
MindSpore版本: MindSpore=2.4、MindFormer=1.1.0
执行模式（PyNative/ Graph）: 不限
Python版本: Python=3.8
操作系统平台: linux

报错信息

问题描述

初始化模型和加载的代码如下：
其中model=GLAForCausalLM这一句代码要执行几百秒，时间很长。

脚本信息：

import mindspore as ms
from mindnlp.transformers importAutoTokenizer, AutoConfig
from gla_mindspore.model.modeling_glaimport GLAForCausalLM
from gla_mindspore.model.configuration_glaimport GLAConfig
import json
import mindspore.numpy as mnp
from time import time

ms. set_device("Ascend")

def load_gla_config(config_path):
    with open(config_path, "r") as f:
        config_data = json. load(f)
    return GLAConfig(**config_data)

# config = AutoConfig.from_pretrained('/home/HWHiAiUser/HUST-VL/GLA/flash-linear-attention/my_model/gla-1.3B-100B')
config = load_gla_config("/home/HwHiAiUser/HUST-VL/GLA/flash-linear-attention/my_model/gla-1. 3B-100B/config. json")
model = GLAForCausalLM(config)

根因分析

此处由用户填写

解决方案

此处由用户填写
包含文字方案和最终脚本代码
请将正确的脚本打包并上传附件