网络精度问题（无怀疑算子）

经验分享 Tech Blogs 功能调试-Function Debugging
1

现象

网络精度出现异常，没有思路。先做全量的统计信息Dump。

思路

网络精度出现异常，没有思路。

配置

推荐使用异步device统计信息，速度较快，占用磁盘少。


{
    "common_dump_settings": {
        "op_debug_mode": 0,
        "dump_mode": 0,
        "path": "/absolute_path",
        "net_name": "ResNet50",
        "iteration": "all",
        "saved_data": "statistic",
        "input_output": 0,
        "kernels": ["Default/Conv-op12"],
        "support_device": [0,1,2,3,4,5,6,7],
        "statistic_category": ["max", "min", "l2norm"]
    },
    "e2e_dump_settings": {
        "stat_calc_mode": "device"
    }
}

性能

劣化10-50倍。

资源占用

显存

使用device算子计算统计信息会引入额外的显存申请，如果显存占用很极限，可能导致显存OOM。如果开启dump发生OOM，可以把统计信息计算调整为低精度，“e2e_dump_settings"中设置"device_stat_precision_mode”: “low” 。

磁盘

跟指定算子数量相关，支持统计信息和原始数据保存，统计信息占用小。