在这个演示中，我们将展示量化深度学习网络的工作流，并从MATLAB将其部署到gpu和fpga。
将深度学习网络部署到边缘设备具有挑战性，因为深度学习网络可能相当需要计算。例如，像AlexNet这样的简单网络超过200 MB，而像VGG-16这样的大型网络则超过500 MB。
量化通过将网络中使用的浮点值转换为更小的位宽，同时将精度损失保持在最小值，从而有助于减小网络的大小。
从R2020a开始，我们发布了使用白盒、易于使用的迭代工作流量化深度学习算法的能力。这种方法可以帮助您在性能和准确性之间进行权衡。
要了解工作流程的实际情况，让我们以检测在制造过程中可能发现的螺母和螺栓缺陷为例。
假设这是检查生产线的一部分，所以我们需要使用120帧/秒的高速摄像机处理。
来自系统工程的需求将涉及诸如准确性、网络延迟和总体硬件成本等指标，……
在网络的设计和实现过程中，它们常常会促使人们权衡选择。
这个应用程序包括…
1)调整大小并选择感兴趣区域的预处理逻辑，…
2)使用预训练的网络检测零件的缺陷或不存在的地方，…
3)最后进行后处理，将结果标注在屏幕上。
让我们通过嵌入式gpu的部署来开始量化工作流。
量化并部署到运行在NVIDIA Jetson AGX Xavier上的gpu上，性能提高了2倍，内存减少了4倍，与单一精度实现相比，top-1精度损失仅约3%。
本例使用的Squeezenet占用5 MB的磁盘内存。
首先，我们从插件资源管理器下载深度学习量化支持包，然后启动应用程序。万博1manbetx
一旦我们加载网络以量化GPU目标，我们就会使用已经设置好的数据存储进行校准。校准通过网络运行一组图像，以收集所需的权重、偏差和激活范围。
该可视化显示了校正动态范围的直方图分布的权力的两个尺度。直方图中的灰色表示不能用量化类型表示的数据，而蓝色表示可以用量化类型表示的数据。最后，颜色较深的是频率较高的箱子。
如果这是可接受的，我们量化网络并加载一个数据存储来验证量化网络的准确性。
结果如下。在桌面GPU上测量时，内存减少了74%，而与原始浮点网络相比，顶级精度没有损失。
一旦我们验证了结果并导出了dlquantizer工作流对象，我们就可以使用GPU Coder将量化网络部署到NVIDIA Jetson板上。
我们对defect .png进行推理，我们期望这张图像被归类为缺陷螺栓。
现在，让我们将注意力转向Xilinx ZCU102板来量化和部署网络。网络使用34 MB内存用于可学习参数，运行时内存为200 MB。
用这5行MATLAB代码，我们可以加载在ZCU102板上运行的单精度比特流。我们看到它使用了84 MB内存，吞吐量为每秒45帧。这对我们的高速照相机来说不够快。
让我们选择量化FPGA。
量化工作流程完成后，我们将量化网络导出到MATLAB工作空间。
量化网络需要在一个量化到INT8的处理器上运行，因此我们将使用下载的zcu102比特流的INT8版本。
在编译之后，参数已经减少到68 MB，我们可以以每秒139帧的速度运行网络。我们也得到了正确的预测结果。
正如你所看到的，深度学习量化应用程序可以帮助你减少gpu和fpga的深度学习网络的大小，同时最大限度地减少精度损失。如果您有兴趣了解更多信息，请查看R2020a或最新R2020b中的深度学习工具箱模型量化库。
