昇思学习营第七期·昇腾开发板 学习打卡_第三次03

活动公告 Activities 活动打卡
1

一、模型推理

![image-20250727090319432](file:///C:/Users/joeson.shar/AppData/Roaming/Typora/typora-user-images/image-20250727090319432.png?lastModify=1753582710)

image-20250727090559965
image-202507270905599651059×611 133 KB

image-20250727090708868
image-202507270907088681105×437 164 KB

修改这个系数能改善ai对话重复回答的问题

实际代码演示：

1.构建对话输入

image-20250727090818518
image-20250727090818518696×216 86.7 KB

message中对应用户和deepseek对话

超参

image-20250727091007104
image-20250727091007104803×245 87.2 KB

性能测试

image-20250727091337118
image-202507270913371181171×621 380 KB

采样的案例都可以通过环境变量的控制的方式，改变token生成的间隔时间。

image-20250727091800858
image-202507270918008581163×609 331 KB

实际代码实现

image-20250727092344249
image-20250727092344249771×314 136 KB

decode

image-20250727092457740
image-20250727092457740870×320 128 KB

image-20250727092621945
image-20250727092621945881×202 66.3 KB

1164×460 263 KB

总结：算子支持度不够，采用ACLOP,内存显存优化采用直接加载FP16,限制PYthon进程数，性能提升，jit及时编译

image-20250727093115945
image-202507270931159451077×436 140 KB

二、实操展示

在实践界面启动训练完成了实践任务，结果如图所示

QQ20250727-095820
QQ20250727-0958201920×1020 92 KB

QQ20250727-101018
QQ20250727-1010181920×1020 105 KB