Ram Cherukuri,MathWorks
在本视频中,我们将在MATLAB中演示深度学习量化工作流程。使用模型量化库支持包,我们将演示如何校准、量化和验证深度学习网络,如Resnet50。我们还强调了量化对减少某些标准网络(如Resnet101和InceptionV3)内存的影万博1manbetx响。
深度学习量化是有效部署深度学习网络的关键优化策略,特别是在嵌入式平台上。
我是MathWorks的高级产品经理Ram Cherukuri,在本视频中,我将向您概述MATLAB中的深度学习量化工作流程。
将权重、偏差和激活量化为较低精度的数据类型,如INT8或FP16,可显著减少AI算法的内存占用,并可提高嵌入式硬件上的推理性能。
可以使用模型量化库支持包在MATLAB中量化深度学习网络。您可以从附加模块资源管理器下万博1manbetx载它,如下所示。
量化工作流利用基于校准数据存储的仪器来计算用于量化网络层的权重、偏差和激活的仪器统计信息。
最后,验证步骤计算准确度度量,以分析和理解量化对网络准确度的影响。让我们以Resnet50网络为例来完成此工作流。
这是深度学习量化器应用程序,您首先从MATLAB工作区导入网络,您将看到左侧窗格中显示的网络结构。
接下来,选择要用于校准的数据存储,应用程序将显示计算出的统计信息,例如每个层的权重、偏差和激活的最小值和最大值。您还可以选择可以量化的层,然后使用验证数据存储验证量化的影响。
在本例中,我们使用了默认的top 1精度度量,您可以看到内存减少了67%,而精度没有下降。然后,您可以继续从量化网络生成用于部署的代码。
我们在几个网络上重复了这个工作流程,只将计算密集型conv层量化为INT8。
您可以在这里的图表中看到量化的影响。例如,这里最大的网络(内存为180 MB)Resnet101,其压缩率为72%,精度下降2%。另一方面,InceptionV3的精度下降最大,为4%,压缩率为67%,内存从100 MB降至33 MB。
这突出了量化对有效部署深度学习网络的重大影响。
请参考视频下面的资源,了解如何在MATLAB中开始并探索这些新功能。
您还可以从以下列表中选择网站:
选择中国站点(中文或英文)以获得最佳站点性能。其他MathWorks国家/地区网站未针对您所在地的访问进行优化。
本网站使用Cookie来改善您的用户体验、个性化内容和广告以及分析网站流量。继续使用本网站即表示您同意我们使用Cookie。请参阅我们的隐私政策了解有关Cookie的更多信息以及如何更改设置。