拉姆Cherukuri,MathWorks公司
在这段视频中,我们展示了MATLAB中的深度学习量化流程。使用模型量化库支持包,我们说明了如何进行校准,量化,并验证了深刻的学习网络万博1manbetx,如Resnet50。我们还强调对降低一些标准的网络,如Resnet101和InceptionV3的内存量化的影响。
深度学习量化对深学习网络的高效部署,尤其是在嵌入式平台上一键优化策略。
我拉姆Cherukuri,在MathWorks公司高级产品经理在这个视频中,我会给你在MATLAB的深度学习量化工作流程的概述。
量化的权重,偏见,并激活,以降低精度数据类型,如INT8或FP16显著降低了AI算法的内存占用量,并且可以导致在嵌入式硬件改进的推理性能。
您可以使用模型量化库支持包在MATLAB量化的深度学习网络。万博1manbetx如下图所示,您可以从附加在资源管理器中下载。
量化工作流杠杆仪表,基于校准数据存储以计算用于量化的权重,偏差,以及网络的层的激活的仪器的统计信息。
最后,验证步骤计算精度度量来分析和理解量化对网络精度的影响。让我们以Resnet50为例来完成这个工作流。
这里是深度学习量化应用程序,您首先从MATLAB工作区导入网络,你会看到网络结构显示在左侧窗格中。
接下来,选择您希望用于校准的数据存储,应用程序将显示计算出的统计数据,如权重、偏差和每一层的激活值的最小值和最大值。您还可以选择要量化的层,然后使用验证数据存储来验证量化的影响。
在这个例子中,我们使用了默认的顶部1准确性度量,你可以看到,有内存降低67%,在精度没有下降。然后,您可以继续从量化的网络部署生成代码。
我们重复这个流程有一些网络中,只有量化的计算密集型CONV层INT8。
你可以在这里的图表中看到量化的影响。例如,这里最大的网络Resnet101的内存为180mb,其压缩率为72%,精度下降了2%。另一方面,InceptionV3的精度下降最大,为4%,压缩67%,内存从100 MB下降到33 MB。
这凸显了量化的深学习网络的高效部署显著影响。
请参考资源下面的视频来学习如何开始探索在MATLAB这些新功能。
您还可以从以下列表中选择一个网站:
选择中国网站(以中文或英文)以获取最佳网站性能。其他MathWorks国家网站未优化您的位置。