主要内容

验证

对深度神经网络进行量化和验证

折叠所有页面

语法

validationResults=验证（quantObj，valData）
validationResults=验证（quantObj、valData、quantOpts）

描述

验证结果=验证(泉托布,瓦尔达)量化网络卷积层中的权重、偏差和激活，并验证数字量化器对象泉托布和使用指定的数据瓦尔达．

验证结果=验证(泉托布,瓦尔达,量子点)量化网络卷积层中的权重、偏差和激活，并验证数字量化器对象泉托布，使用瓦尔达，以及可选参数量子点指定用于评估量化网络性能的度量函数。

要了解量化深度神经网络所需的产品，请参s manbetx 845阅量化工作流先决条件．

例子

全部折叠

此示例演示如何量化神经网络卷积层中的可学习参数，并探索量化网络的行为squeezenet神经网络经过再训练后，根据网络的特征对新图像进行分类训练深度学习网络对新图像进行分类实例在该示例中，网络所需的存储器通过量化减少约75%，而网络的精度不受影响。

加载预训练网络。

网
net=DAG网络，具有以下属性：层：[68x1 nnet.cnn.layer.layer]连接：[75x2表]输入名称：{'data'}输出名称：{'new_classoutput'}

定义用于量化的校准和验证数据。

标定数据用于收集网络卷积层和全连接层中权值和偏差的动态范围，以及网络各层中激活的动态范围。为了获得最好的量化结果，校准数据必须能代表网络的输入。

验证数据用于量化后的网络测试，以了解网络中量化卷积层的有限范围和精度的影响。

在本例中，使用水星数据集。定义一个augmentedImageDatastore对象来调整网络数据的大小。然后，将数据拆分为校准和验证数据集。

解压(“MerchData.zip”); imds=图像数据存储(“水星”,...“包含子文件夹”符合事实的...“标签源”,“foldernames”); [calData，valData]=splitEachLabel（imds，0.7，“随机化”)；aug_calData=增强的图像数据存储（[227 227]，calData）；aug_valData=增强的图像数据存储（[227 227]，valData）；

创建一个数字量化器对象，并指定要量化的网络。

quantObj=数字量化器（净）；

定义用于比较量化前后网络行为的度量函数。将此函数保存在本地文件中。

作用hComputeModelAccuracy = hComputeModelAccuracy(predictionScores, net, dataStore)%%计算模型级精度统计信息负载地面真实值tmp=readall（数据存储）；groundTruth=tmp.response；%将预测标签与实际地面真实值进行比较predictionError={}；为idx=1:numel（groundTruth）[~，idy]=max（predictionScores（idx，：）；yActual=net.Layers（end.class）（idy）；predictionError{end+1}=（yActual==groundTruth（idx））；% #好吧结束%将所有预测误差相加。predictionError=[predictionError{:}]；精度=sum（predictionError）/numel（predictionError）；结束

指定度量函数中的度量值dlquantizationOptions对象。

quantOpts = dlquantizationOptions (“MetricFcn”,...{@ (x) hComputeModelAccuracy (x,净,aug_valData)});

使用校准函数通过样本输入来运行网络，并收集范围信息。的校准函数练习网络，并收集网络卷积层和完全连接层中的权重和偏差的动态范围，以及网络所有层中激活的动态范围。函数返回一个表。表的每一行包含优化网络的可学习参数的范围信息rk。

calResults = calibrate(quantObj, aug_calData)
结果=95x5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5表表表优化层优化层优化层优化层层层名称网络名称网络名称层名称网络层名称网络名称网络层名称网络名称网络层名称网络层名称网络名称网络层名称网络层名称网络层名称网络层名称网络层名称网络层名称网络层名称网络层名称层名称层名称层名称网络名称层名称层名称网络名称网络名称Uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu“偏压”—0.07925 0.26343{'fire2-squeeze1x1_fire2-relu-Squeeze1x1x1_重量”}{'fire2-relu-Squeeze1x1x1x1x1x1'}“偏压”—1.381.2477{'fire2-squeeze1x1_fire2-relu-squeeze1x1_偏压'}{'fire2-relu-Squeeze1x1x1'}“偏压”—0.11641 0.2473{'fire2-expand1x1_-expand1x1_-relu-squeeze1x1重量”}-980.906}“bia”bia“bia”bia“bia”bia“bia”bia”bia“bia”bia“bia”bia“bia”bia“bia”bia”0.060056 0.146020.146020.146022“bi2-exp2-exp2-exp2-exp2-exp2-exp2-exp2-exp2-exp2-exp2-exp2-exp2-2-3-3-3-3-3-3-3-3-3-3-3-3-2-2-2-2-2-2-2-消防2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-2-3膨胀3膨胀3膨胀3-2-2-2-2-2-2-2-2-2-2-2-2-2-3膨胀3 3}{'fire3-relu-squeeze1x1'}“权重”-0.77263 0.68897{'fire3-squeeze1x1_-fire3-relu-squeeze1x1_-Bias'}{'fire3-relu-squeeze1x1'}“偏差”-0.10141 0.32678{'fire3-expand1x1_-fire3-relu-expand1x1_-Bias'}{'fire3-relu-expand1x1'}“权重”-0.72131 0.97287}“-0.067043 0.30424{'fire3-expand3x3_fire3-relu_expand3x3_Weights'}{'fire3-relu_expand3x3'}”Weights'-0.61196 0.77431{'fire3-expand3x3_fire3-relu expand3x3_Bias'}{'fire3-relu_expand3x3'}Bias'-0.053612 0.10329{'fire4-Streeze1x1_fire4-relu_-Streeze1x1_-expand3x3_Bias'}0.88}”{'fire4-squeze1x1_fire4-relu-squeze1x1_Bias'}{'fire4-relu-squeze1x1'}“Bias”-0.10886 0.13882。。。

使用验证函数对网络的卷积层中的可学习参数进行量化，并对网络进行锻炼。中定义的度量函数dlquantizationOptions目的比较量化前后的网络结果。

valResults=验证（quantObj、aug_valData、quantOpts）
validresults = struct with fields: NumSamples: 20 metrics results: [1x1 struct]

检查MetricResults。结果验证输出的字段，以查看量化网络的性能。

valResults.MetricResults.Result
ans = 2 x3表NetworkImplementation MetricOutput LearnableParameterMemory(字节 ) _____________________ ____________ _______________________________ {' 浮点'}1 2.9003 e + 06{“量子化”}1 7.3393 e + 05

在这个例子中，网络所需的内存通过量化减少了大约75%。不影响网络的准确性。

中指定的网络卷积层的权重、偏差和激活数字量化器对象现在使用缩放的8位整数数据类型。

此示例演示如何量化神经网络卷积层中的可学习参数，并探索量化网络的行为标识网神经网络。量化通过将网络层的权重、偏差和激活量化为8位比例整数数据类型，有助于减少深度神经网络的内存需求。使用MATLAB®从目标设备检索预测结果。

要运行此示例，您需要下面列出的产品s manbetx 845FPGA在量化工作流先决条件．

有关其他要求，请参见量化工作流先决条件．

在当前工作目录中创建一个名为getLogoNetwork.m．在文件中输入以下几行:

作用net=getLogoNetwork（）数据=getLogoData（）；net=data.net；结束作用data = getLogoData ()如果~isfile(“LogoNet.mat”) url ='//www.tianjin-qmedu.com/万博1manbetxsupportfiles/gpucoder/cnn_models/logo_detection/LogoNet.mat'; 韦伯萨夫(“LogoNet.mat”，网址）；结束data =负载(“LogoNet.mat”);结束

加载预训练网络。

snet=getlogonnetwork（）；
snet = SeriesNetwork with properties: Layers: [22×1 net.cnn.layer. layer] InputNames: {'imageinput'} OutputNames: {'classoutput'}

定义用于量化的校准和验证数据。

标定数据用于收集网络卷积层和全连接层中权值和偏差的动态范围，以及网络各层中激活的动态范围。为了获得最好的量化结果，校准数据必须能代表网络的输入。

验证数据用于量化后的网络测试，以了解网络中量化卷积层的有限范围和精度的影响。

此示例使用中的图像logos_dataset数据集。定义一个augmentedImageDatastore对象来调整网络数据的大小。然后，将数据拆分为校准和验证数据集。

curDir = pwd;newDir = fullfile (matlabroot,“例子”,“深度学习共享”,“数据”,'logos_dataset.zip')；复制文件（newDir，curDir）；解压缩('logos_dataset.zip'); imageData=imageDatastore（完整文件（curDir，“logos\u数据集”），...“包含子文件夹”符合事实的“文件扩展名”,“jpg”,“标签源”,“foldernames”)；[calibrationData，validationData]=splitEachLabel（imageData，0.5，“随机化”);

创建一个数字量化器对象，并指定要量化的网络。

dlQuantObj=dlquantizer（snet，“执行环境”,FPGA的);

使用校准函数通过样本输入来运行网络，并收集范围信息。的校准函数练习网络，并收集网络卷积层和完全连接层中的权重和偏差的动态范围，以及网络所有层中激活的动态范围。函数返回一个表。表的每一行包含优化网络的可学习参数的范围信息rk。

dlQuantObj.校准（校准数据）
ans =优化层名称网络层名称可学的/激活MinValue MaxValue  ____________________________ __________________ ________________________ ___________ __________ {' conv_1_Weights’}{‘conv_1}“权重”-0.048978 - 0.039352{‘conv_1_Bias}{‘conv_1}“偏见”0.99996 - 1.0028{‘conv_2_Weights}{‘conv_2}“权重”-0.0555180.061901{‘conv_2_Bias}{‘conv_2}“偏见”-0.00061171 - 0.00227{‘conv_3_Weights}{‘conv_3}“权重”-0.045942 - 0.046927{‘conv_3_Bias}{‘conv_3}“偏见”-0.0013998 - 0.0015218{‘conv_4_Weights}{‘conv_4}“权重”-0.045967 - 0.051{‘conv_4_Bias}{‘conv_4}“偏见”-0.00164 - 0.0037892{‘fc_1_Weights}{‘fc_1}“权重”-0.0513940.054344 {'fc_1_Bias'} {'fc_1'} "Bias" -0.05016 0.051557 {'fc_2'} "Bias" -0.0017564 0.0018502 {'fc_3_Weights'} {'fc_3'} "Bias" -0.050706 0.04678 0.04678 {'fc_3_Bias'} {'fc_3'} "Bias" -0.02951 0.024855 {'imageinput'} {'imageinput'} "Activations" 0 255{'imageinput_normalization'} {'imageinput'} " activities " -139.34 198.72

为您的目标设备创建一个具有自定义名称的目标对象，并创建一个将目标设备连接到主机的接口。接口选项有JTAG和Ethernet。创建目标对象，输入:

hTarget=dlhdl.Target(“英特尔”,“接口”,“JTAG”);

定义用于比较量化前后网络行为的度量函数。将此函数保存在本地文件中。

作用准确度=hComputeAccuracy（预测核心、网络、数据存储）%% hComputeAccuracy测试助手函数计算模型级精度统计版权所有2020 The MathWorks, Inc.负载地面真实值groundTruth=数据存储。标签；%将预测标签与实际地面真实值进行比较predictionError={}；为idx=1:numel(groundTruth) [~， idy] = max(predictionScores(idx，:)); / /将groundTruth改为groundTruthyActual = net.Layers(结束). class(补贴);predictionError{end+1} = (yActual == groundTruth(idx));% #好吧结束%将所有预测误差相加。predictionError=[predictionError{:}]；精度=sum（predictionError）/numel（predictionError）；结束

指定度量函数中的度量值dlquantizationOptions对象。

选项=dlquantizationOptions(“MetricFcn”,...{@（x）hComputeModelAccurance（x，snet，validationData）}，“比特流”,“arria10soc_int8”,...“目标”，hTarget）；

要编译和部署量化网络，请运行验证委员会的职能数字量化器对象。使用验证函数量化网络卷积层中的可学习参数并练习网络。此函数使用编译函数的输出，使用编程文件对FPGA板进行编程。它还下载网络权重和偏差。部署函数检查Intel Quartus工具和支持的l版本。然后使用sof文件开始对FPGA设备进行编程，显示进度消息以及部署网络所需的时间。该函数使用中定义的度量函数万博1manbetxdlquantizationOptions目的比较量化前后的网络结果。

预测= dlQuantObj.validate (validationData选项);
（U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U U 0“8.0 MB”FCWeightDataOffset“0x08000000”“12.0 MB”“内偏移”“0x08c00000”“总计：140.0 MB“#####使用JTAG编程FPGA位流…###FPGA位流编程已成功完成将重量加载到Conv处理器。###已加载Conv砝码。当前时间是2020年7月16日12:45:10################将权重加载到FC处理器已加载FC权重。当前时间是2020年7月16日12:45:26######完成输入激活的编写。#运行单输入激活。深度学习处理器探查器性能结果LastLayerLatency（周期）LastLayerLatency（秒）FramesUMM总延迟帧/秒-------------------------网络13570959 0.09047 30 380609145 11.8转换模块12667786 0.08445转换1 3938907 0.02626 maxpool转换1 1544560.01030转换2 2910954 0.01941 maxpool转换2 577524 0.00385转换3 2552707 0.01702 maxpool转换4 455440.00304 maxpool转换4 112510.00008 fc_模块903173 0.00602 fc_1 536164 0.00357 fc_2 342643 0.00228 fc_3 24364 0.00016*DL处理器的时钟频率为：150MHz####完成输入激活写入。#运行单输入激活。深度学习处理器探查器性能结果LastLayerLatency（周期）LastLayerLatency（秒）FramesUMM总延迟帧/秒-------------------------网络13570364 0.09047 30 380612682 11.8转换模块12667103 0.08445转换1 3939296 0.02626最大池1 1544371 0.01030转换2 2910747 0.01940最大池2 577654 0.00385转换3 2551829 0.01701最大池1转换4 455396 0.00304最大池4 113550.00008 fc_模块903261 0.00602 fc_1 536206 0.00357 fc_2 342688 0.00228 fc_3 24365 0.00016*DL处理器的时钟频率为：150MHz#####完成写入输入激活。#运行单输入激活。深度学习处理器探查器性能结果LastLayerLatency（周期）LastLayerLatency（秒）FramesUMM总延迟帧/秒-------------------------网络13571561 0.09048 30 380608338 11.8转换模块12668340 0.08446转换1 3939070 0.02626 maxpool转换1 1545327 0.01030转换2 2911061 0.01941 maxpool转换2 577557 0.00385转换3 2552082 0.01701 maxpool转换3 676506 0.004582 0.004582 maxpool转换4 112480.00007 fc_模块903221 0.00602 fc_1 536167 0.00357 fc_2 342643 0.00228 fc_3 24409 0.00016*DL处理器的时钟频率为：150MHz#####完成写入输入激活。#运行单输入激活。深度学习处理器探查器性能结果LastLayerLatency（周期）LastLayerLatency（秒）FramesUMM总延迟帧/秒------------------------------网络13569862 0.09047 30 380613327 11.8转换模块12666756 0.08445转换1 3939212 0.02626最大池容量1 1543267 0.01029转换2 2911184 0.01941最大池容量2 577275 0.00385转换3 2552868 0.01702最大池容量4 45533 0.00304最大池容量4 112520.00008 fc_模块903106 0.00602 fc_1 536050 0.00357 fc_2 342645 0.00228 fc_3 24409 0.00016*DL处理器的时钟频率为：150MHz#####完成写入输入激活。#运行单输入激活。深度学习处理器探查器性能结果LastLayerLatency（周期）LastLayerLatency（秒）FramesUM总延迟帧数/秒------------------------------网络13570823 0.09047 30 380619836 11.8转换模块12667607 0.08445转换1 3939074 0.02626 maxpool转换1 1544519 0.01030转换2 2910636 0.01940 maxpool转换2 577769 0.00385转换3 2551800 0.01701 maxpool转换4 455859 0.003480.0 0.0 0 0.0 0 0.0 0 0.0 0 0.0 0 0.0 0 0.0 0 0 0 0.0 0 0 0.0 0 0 0.0 0 0.0 0 0.0 0 0.0.0 0.0.0 0.0 0 0.0 0.0 0.0 0.0 0 0.0 0 0.0 0.0 0 0.0 0 0.0 0.0 0 0 0.0 0.0 0.0 0.7 7 7 7 7 7 7 7 7 7 7 7 7.0.0 0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.7 7 7 7 7 7 7 7 7 7 7 7的功能模块的功能模块的功能模块的功能模块的功能模块的功能模块的功能模块的功能模块0x00000000“48.0 MB”输出结果偏移量0x03000000“4.0 MB”系统缓冲偏移量“0x03400000”“60.0 MB”“指令数据偏移量”“0x07000000”“8.0 MB”“ConvWeightDataOffset”“0x07800000”“8.0 MB”“FCWeightDataOffset”“0x08000000”“12.0 MB”“EndOffset”“0x08c00000”“总计：140.0 MB”####已跳过FPGA位流编程，因为相同的位流已加载到目标FPGA上已跳过深度学习网络编程，因为相同的网络已加载到目标FPGA上已完成输入激活的编写运行单输入激活。深度学习处理器探查器性能结果LastLayerLatency（周期）LastLayerLatency（秒）Frames平均总延迟帧数/秒-------------------------网络13572329 0．09048 10 127265075 11.8 conv_module 12669135 0.08446 conv_1 3939559 0.02626 maxpool_1 1545378 0.01030 conv_2 2911243 0.01941 maxpool_2 577422 0.00385 conv_3 2552064 0.01701 maxpool_3 676678 0.00451 conv_4 455657 0.00304 maxpool_4 11227 0.00007 fc_module 903194 0.00602 fc_1 536140 0.00357 fc_2 342688 0.00228 fc_3 24364 0.00016 * The clock frequency of the DL processor is: 150MHz ### Finished writing input activations. ### Running single input activations. Deep Learning Processor Profiler Performance Results LastLayerLatency(cycles) LastLayerLatency(seconds) FramesNum Total Latency Frames/s ------------- ------------- --------- --------- --------- Network 13572527 0.09048 10 127266427 11.8 conv_module 12669266 0.08446 conv_1 3939776 0.02627 maxpool_1 1545632 0.01030 conv_2 2911169 0.01941 maxpool_2 577592 0.00385 conv_3 2551613 0.01701 maxpool_3 676811 0.00451 conv_4 455418 0.00304 maxpool_4 11348 0.00008 fc_module 903261 0.00602 fc_1 536205 0.00357 fc_2 342689 0.00228 fc_3 24365 0.00016 * The clock frequency of the DL processor is: 150MHz

检查MetricResults。结果验证输出的字段，以查看量化网络的性能。

validateOut=预测.MetricResults.Result
ans=网络实现MetricOutput{uuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuuu

检查量化网络FPS验证输出的字段，以查看量化网络的每秒帧数性能。

预测。量化网络fps
ans=11.8126

中指定的网络卷积层的权重、偏差和激活数字量化器对象现在使用缩放的8位整数数据类型。

输入参数

全部折叠

数字量化器对象，指定要量化的网络。

用于量化网络验证的数据，指定为图像数据存储对象，对象augmentedImageDataStore对象,或pixelLabelImageDataStore对象。

用于量化网络的选项，指定为dlquantizationOptions对象。

输出参数

全部折叠

作为结构返回的网络量化结果。结构包含以下字段。

  • NumSamples–用于验证网络的样本输入数。

  • 度量结果中定义的度量函数的结果的结构体dlquantizationOptions对象中指定了多个度量函数时dlquantizationOptions对象度量结果是一个结构数组。

    度量结果包含以下字段。

场 描述
度量函数 用于确定量化网络性能的函数。此函数在dlquantizationOptions对象。
结果

表示量化前后度量函数结果的表。

表中的第一行包含原始浮点实现的信息。第二行包含量化实现的信息。度量函数的输出显示在MetricOutput列中显示网络的大小LearnableParameterMemory（字节）列。

另见

应用程序

功能

主题

介绍了R2020a

深度学习工具箱文档

万博1manbetx

用MATLAB引入深度学习

用MATLAB引入深度学习

下载电子书