MindSpore报错ImportError cannot import name "build dataset loader' from 'mindformers.dataset. dataloader'

经验分享 Tech Blogs 功能调试-Function Debugging
1

1 系统环境

硬件环境(Ascend/GPU/CPU): Ascend
MindSpore版本: 2.1
执行模式（PyNative/ Graph）: 不限

2 报错信息

2.1 问题描述

运行如下脚本后出现数据处理的报错：

python run_mindformer.py --config configs/gpt_bigcode/run_gpt_bigcode. yaml --run_mode train \  
--device_target Ascend \  
--train dataset dirdata/qpt biqcode

2.2 报错信息

ImportError cannot import name "build dataset loader' from 'mindformers.dataset. dataloader' (/opt/mindformers/mindformers/dataset/dataloader/init.py)

3 根因分析

报错表示无法加载build_dataset_loade函数。从报错信息给定的位置查找发现__init__.py文件中没有添加这个函数。

4 解决方案

只需在__init__.py文件中添加build_dataset_loader函数即可。

__all__ = [ 'Flickr8kDataLoader','Cifar100DataLoader', 'WMT16DataLoader','CLUENERDataLoader', 'SQuADDataLoader', 'ADGenDataLoader','MultiImgCapDataLoader',’build dataset loader’]