【开源共测】Benchmark 均值掩盖了 p99 尾部延迟?征集 MindSpore Lite / Ascend 运行时证据层共测伙伴

很好的一个想法,的确可以弥补当前基于MindSpore Lite在实际部署场景发生问题时,定位难的痛点;我们可以一起共建维测能力,提升MindSpore Lite的可维可测能力,方便使用,以及问题定位分析;

但是这个地方有一个小的疑问,线上推理是很关注性能的,实际业务部署,可能比较难接受每次推理完成,然后去做recorder.update的数据更新,这个可能是会影响业务的实际部署性能,以及内存,线上业务可能是期望,启动之后,长期不再出现问题,会一直推理下去,所以实时更新数据,是否会导致性能、内存等指标发生劣化

1 个赞