这个例子展示了如何模拟量化GPU网络部署的行为。一旦你数字转换网络GPU执行环境,你可以模仿GPU目标行为没有GPU硬件。这样做允许您检查量化网络结构和行为没有生成代码的部署。
模拟量化网络不小于原来的网络。
加载pretrained网络。净是SqueezeNet卷积神经网络已经重新训练使用转移学习分类图片MerchData数据集。
dlnet = dlnetwork属性:层:[67×1 nnet.cnn.layer.Layer]连接:[74×2表]可学的:[52×3表)状态:[0×3表]InputNames:{“数据”}OutputNames:{“概率”}初始化:1观点总结总结。
为量化定义校准和验证数据使用。
使用校准数据收集的动态范围重量和偏见的卷积和完全连接层的网络和动态范围激活所有层的网络。最好的量化结果,校准数据必须输入到网络的代表。
使用量化后的验证数据来测试网络理解的影响有限的范围和精度的量化卷积网络层。
对于这个示例,使用图像MerchData数据集。把数据分割成校准和验证数据集。
创建一个dlquantizer对象和指定网络数字转换。网络是如何量化取决于执行环境。集ExecutionEnvironment来GPU特定于GPU目标硬件进行量化。
使用校准功能锻炼与样本输入网络对象范围和收集信息。
使用数字转换方法量化网络对象并返回一个simulatable量化网络。
qNet =量子化dlnetwork属性:层:[67×1 nnet.cnn.layer.Layer]连接:[74×2表]可学的:[52×3表)状态:[0×3表]InputNames:{“数据”}OutputNames:{“概率”}初始化:1观点总结总结。使用quantizationDetails函数提取量子化的细节。
您可以使用quantizationDetails看到,网络现在是量子化的方法。
qDetails =结构体字段:IsQuantized: 1 TargetLibrary:“cudnn”QuantizedLayerNames:[55×1弦]QuantizedLearnables:[35×3表)
的TargetLibrary字段显示,量化网络模拟CUDA®深层神经网络库(cuDNN)。
的QuantizedLayerNames字段显示的层量子化的。
ans =5×1的字符串“relu_conv1”“conv1 pool1”“fire2-squeeze1x1”“fire2-relu_squeeze1x1”
的QuantizedLearnables字段包含更多细节量化网络可学的参数。在这个例子中,二维卷积的层,conv1,有重量和int8铸出。偏见了,仍在单精度。量化的值可学的是作为存储整数返回值。
ans =35×3表层参数值_____________ _____ ___________________“conv1”“权重”{3×3×3×64 int8}“conv1”“偏见”{1×1×64单}“fire2-squeeze1x1”“权重”{1×1×64×16 int8}“fire2-squeeze1x1”“偏见”{1×1×16单}“fire2-expand1x1”“权重”{1×1×16×64 int8}“fire2-expand3x3”“权重”{3×3×16×64 int8}“fire3-squeeze1x1”“权重”{1×1×128×16 int8}“fire3-squeeze1x1”“偏见”{1×1×16单}“fire3-expand1x1”“权重”{1×1×16×64 int8}“fire3-expand3x3”“权重”{3×3×16×64 int8}“fire4-squeeze1x1”“权重”{1×1×128×32 int8}“fire4-squeeze1x1”“偏见”{1×1×32单}“fire4-expand1x1”“权重”{1×1×32×128 int8}“fire4-expand3x3”“权重”{3×3×32×128 int8}“fire5-squeeze1x1”“权重”{1×1×256×32 int8}“fire5-squeeze1x1”“偏见”{1×1×32单}⋮
您可以使用量化网络来模拟网络量化为GPU目标硬件如何执行一个分类任务。
使用原作出预测,单精度浮点网络。加快计算通过编译和执行一个墨西哥人函数GPU,使用加速度选项“墨西哥人”的预测函数。
使用量化INT8网络作出预测。使用加速度选项“墨西哥人”的预测函数。墨西哥人加速支持基于量化的量化网络对象万博1manbetxExecutionEnvironment设置为GPU。
计算相对精度的量化网络相比原来的网络。
量化网络没有精度下降。
