Ram Cherukuri MathWorks
在这个视频中,我们演示了MATLAB中的深度学习量化工作流程。使用模型量化库支持包,我们演示了如何校准、量化和验证深度学习网络,如Res万博1manbetxnet50。我们还强调了量化对减少一些标准网络(如Resnet101和InceptionV3)内存的影响。
深度学习量化是深度学习网络高效部署的关键优化策略,特别是在嵌入式平台上。
我是Ram Cherukuri, MathWorks的高级产品经理,在这个视频中,我将给你一个关于MATLAB中的深度学习量化工作流的概述。
量化权重、偏差和激活以降低精度数据类型(如INT8或FP16),可以显著减少AI算法的内存占用,并提高嵌入式硬件上的推理性能。
您可以在MATLAB中使用模型量化库支持包来量化您的深度学习网络。万博1manbetx您可以从Add-On Explorer下载它,如下所示。
量化工作流利用基于校准数据存储的检测,以计算用于量化网络各层的权值、偏差和激活的检测统计数据。
最后,验证步骤计算准确性度量来分析和理解量化对网络精度的影响。让我们将resnet50作为一个示例网络来完成此工作流程。
这是深度学习量化器应用程序,您首先从MATLAB工作空间导入网络,您将看到网络结构显示在左侧窗格。
接下来,您可以选择要用于校准的数据存储,并且应用程序将显示计算的统计信息,例如每层的重量,偏置和激活的MIN和MAX值。您还可以选择您可以量化的图层,然后使用验证数据存储验证量化的影响。
在本例中,我们使用了默认的top 1精度度量,您可以看到内存减少了67%,但精度没有下降。然后,您可以继续从量化网络生成用于部署的代码。
我们在几个网络中重复了这个工作流程,只将计算密集的conv层量化为INT8。
您可以在此处查看图表中量化的影响。例如,这里最大的网络与内存中的180 MB,ResET101,可精确地看到72%的压缩,精度下降2%。另一方面,Inceptionv3的精度为4%,压缩67%,记忆中的100 MB至33 MB。
这突出了量化对深度学习网络高效部署的重要影响。
请参阅视频下面的参考资料,了解如何开始并探索MATLAB中的这些新功能。
您也可以从以下列表中选择一个网站:
选择中国网站(中文或英文)以获得最佳的网站性能。其他MathWorks国家网站没有针对您所在位置的访问进行优化。
本网站使用cookie来改善您的用户体验,个性化内容和广告,并分析网站流量。通过继续使用本网站,您同意我们使用cookie。请看我们隐私政策要了解有关cookie的更多信息以及如何更改设置。