本次学习内容主要是学习模型推理和优化,有需要做到:
权重加载→启动推理→效果比较与调优→性能测试→性能优化
目标是建立Gradio对话,在开发板可有更精细操作,导入数据集。
相对于云开发平台来说,我们依然是进行以下操作:
选择【Jupyter在线编程】,启动【Ascend】开发环境(镜像使用默认即可,不用切换到mindspore2.5),文件夹选择【应用实践】→【昇腾开发板】→【1.5b(推理)】、【jit(性能优化)】
其中jit(性能优化)这个模块,可以看到我们云开发平台的模型参数,而1.5b(推理)模块则可以进行对话模块,这个模块有个需要注意的点是,运行完基本对话需要输入“stop”结束该程序,后续代码才能顺利运行,最开始尝试了好多次才发现这个问题,结果如下:
