创建和培训新的卷积神经网络(GROMNET)的第一步是定义网络架构。本主题解释了Convnet层的详细信息,以及它们在Grancnet中出现的顺序。有关深度学习层的完整列表以及如何创建它们,请参阅据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/list-of-deep-learning-layers.html" class="a">深度学习层列表据/一种>.要了解用于序列分类和回归的LSTM网络,请参见据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/long-short-term-memory-networks.html" class="a">长短期记忆网络据/一种>.要学习如何创建自己的自定义层,请参见据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/define-custom-deep-learning-layers.html" class="a">定义自定义深度学习层据/一种>.据/P.>
网络体系结构可以根据包括在类型和层的数量而变化。类型和包含层的数量取决于特定的应用程序或数据。举例来说,如果你有明确的回复,你必须有一个SOFTMAX层和分类层,而如果你的反应是连续的,你必须有在网络的最后一个回归层。与只有一个或两个卷积的层更小的网络可能足以学习在一个小数目的灰度图像数据的。在另一方面,对于具有数百万彩色图像的更复杂的数据,您可能需要使用多个卷积和完全连接层的更复杂的网络。据/P.>
要指定所有层按顺序连接的深层网络的结构,可以直接创建层数组。例如,要创建一个将28 × 28灰度图像分类为10类的深度网络,需要指定层数组据/P.>
layers = [imageInputLayer([28 28 1]) convolution2dLayer(3,16,'Padding',1) batchNormalizationLayer reluLayer maxPooling2dLayer(2,'Stride',2) convolution2dLayer(3,32,'Padding',1) batchNormalizationLayer reluLayer fulllyconnectedlayer (10) softmaxLayer classificationLayer];据/P.R.E.>
层数据/CO.D.E.>是据CO.D.E.CL.一种S.S.="literal">层据/CO.D.E.>对象。你可以使用据CO.D.E.CL.一种S.S.="literal">层数据/CO.D.E.>作为培训功能的输入据CO.D.E.CL.一种S.S.="function">trainNetwork据/CO.D.E.>.据P.>
要指定神经网络的结构,使所有层都按顺序连接,直接创建一个层数组。要指定网络的结构,其中各层可以有多个输入或输出,请使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layergraph.html">分层图据/CO.D.E.>目的。据/P.>
图像输入层据/H3>
创建一个图像输入层使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.imageinputlayer.html">imageInputLayer据/CO.D.E.>.据/P.>
图像输入层输入的图像到网络,并且施加数据正常化。据/S.P.一种N>
属性指定图像大小据CO.D.E.CL.一种S.S.="literal">inputSize据/CO.D.E.>争论。图像的大小对应于该图像的高度,宽度和颜色信道的数量。例如,对于灰度图像,通道的数量为1,并且对于彩色图像为3。据/P.>
卷积的层据/H3>
A 2-d卷积层应用于滑动卷积滤波器来输入。据/S.P.一种N>创建一个2-D卷积层使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.convolution2dlayer.html">Convolution2Dlayer.据/CO.D.E.>.据/P.>
卷积层由各种组件组成。据S.up class="footnote">[据/S.P.一种N>1据/一种>]据/S.P.一种N>
过滤器和步幅据/H4>
卷积层由连接到输入图像的子区域或前一层的输出的神经元组成。该图层在扫描通过图像时学习这些区域本地化的功能。使用中创建图层时据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.convolution2dlayer.html">Convolution2Dlayer.据/CO.D.E.>函数中指定这些区域的大小据CO.D.E.CL.一种S.S.="literal">filterSize据/CO.D.E.>输入参数。据/P.>
对于每个区域,据CO.D.E.CL.一种S.S.="function">trainNetwork据/CO.D.E.>函数计算权值与输入的点积,然后加上偏差项。应用于图像中某一区域的一组权值称为据S.P.一种NCL.一种S.S.="emphasis">过滤器据/E.m>
.滤波器沿输入图像垂直和水平移动,对每个区域重复相同的计算。换句话说,过滤器对输入进行卷积。据/P.>
这张图片显示了一个3 × 3的过滤器扫描输入。下面的映射表示输入,上面的映射表示输出。据/P.>
滤波器移动的步长称为据S.P.一种NCL.一种S.S.="emphasis">步行据/E.m>.属性可以指定步长据CO.D.E.CL.一种S.S.="argument">步据/CO.D.E.>名称-值对的论点。神经元连接到可以重叠的地方区域取决于据CO.D.E.CL.一种S.S.="argument">filterSize据/CO.D.E.>和据CO.D.E.CL.一种S.S.="argument">'走吧'据/CO.D.E.>值。据/P.>
这张图片显示了一个3 × 3的过滤器以2的步幅扫描输入。下面的映射表示输入,上面的映射表示输出。据/P.>
权重的在过滤器的数目是据E.m class="varname">H据/E.m>*据E.m class="varname">W.据/E.m>*据E.m class="varname">C据/E.m>,在那里据E.m class="varname">H据/E.m>是高度,和据E.m class="varname">W.据/E.m>滤镜的宽度分别是和吗据E.m class="varname">C据/E.m>为输入中的通道数。例如,如果输入是彩色图像,则颜色通道数为3。滤波器的数量决定了卷积层输出的通道数量。属性指定筛选器的数目据CO.D.E.CL.一种S.S.="argument">numFilters据/CO.D.E.>参数与据CO.D.E.CL.一种S.S.="function">Convolution2Dlayer.据/CO.D.E.>函数。据/P.>
扩张卷积据/H4>
扩张的卷积是其中过滤器由过滤器的元件之间插入的空间扩大的卷积。使用指定的扩张因素据CO.D.E.CL.一种S.S.="literal">“DilationFactor”据/CO.D.E.>财产。据/P.>
使用扩展卷积来增加层的接受域(层可以看到的输入区域),而不增加参数或计算的数量。据/P.>
通过在每个滤波器元件之间插入零来扩展滤波器。扩张因子确定用于采样输入的步骤或等效地对滤波器的上采样因子进行采样。它对应于有效的滤波器大小(据E.m class="varname">过滤尺寸据/E.m>- 1) *据E.m class="varname">膨胀系数据/E.m>+ 1。例如,一个带有膨胀系数的3 × 3滤波器据CO.D.E.CL.一种S.S.="literal">(2 - 2)据/CO.D.E.>相当于一个元素之间为零的5 × 5滤波器。据/P.>
这张图片显示了一个3 × 3的滤光片,放大了2倍扫描通过输入。下面的映射表示输入,上面的映射表示输出。据/P.>
特征图据/H4>
当一个滤波器沿着输入移动时,它使用相同的权值集和相同的卷积偏差,形成一个据S.P.一种NCL.一种S.S.="emphasis">特色地图据/E.m>.每个特征图是使用不同的重量和不同偏差集的卷积的结果。因此,特征映射的数量等于过滤器的数量。卷积层中的参数总数是((据E.m class="varname">H据/E.m>*据E.m class="varname">W.据/E.m>*据E.m class="varname">C据/E.m>+ 1)*据E.m class="varname">过滤器数据/E.m>),其中1为偏差。据/P.>
补零据/H4>
您还可以将零填充应用于垂直和水平地使用零填充物到输入图像边框和水平使用据CO.D.E.CL.一种S.S.="argument">“填充”据/CO.D.E.>名称-值对的论点。填充是行或添加到图像输入的边界的零的列。通过调整填充,可以控制该层的输出大小。据/P.>
这张图片显示了一个3 × 3的过滤器扫描输入,填充大小为1。下面的映射表示输入,上面的映射表示输出。据/P.>
输出大小据/H4>
卷积层的输出高度和宽度为(据E.m class="varname">输入的大小据/E.m>- ((据E.m class="varname">过滤尺寸据/E.m>- 1) *据E.m class="varname">膨胀系数据/E.m>+ 1 + 2*据E.m class="varname">填充据/E.m>)/据E.m class="varname">步据/E.m>+ 1。此值必须是要完全覆盖的整数的整数。如果这些选项的组合不会引导要完全覆盖的图像,则默认情况下的软件忽略了卷积中右侧和底部边缘的剩余部分。据/P.>
数量的神经元据/H4>
输出高度和宽度的乘积给出了特征图中神经元的总数据E.m class="varname">地图大小据/E.m>.神经元(输出大小)的卷积层的总数为据E.m class="varname">地图大小据/E.m>*据E.m class="varname">过滤器数据/E.m>.据/P.>
例如,假设输入图像是32×32×3彩色图像。对于具有八个滤波器的卷积层和5×5的滤波器尺寸,每个过滤器的权重数为5 * 5 * 3 = 75,并且层中的参数总数为(75 + 1)* 8= 608.如果在每个方向上的步伐是2,则指定大小2的填充,则每个特征图是16-×16。这是因为(32-5 + 2 * 2)/ 2 + 1 = 16.5,并且丢弃了图像右侧和底部的一些最外侧零填充。最后,层中的神经元的总数为16 * 16 * 8 = 2048。据/P.>
通常,这些神经元的结果通过某种形式的非线性,例如整流的线性单元(Relu)。据/P.>
学习参数据/H4>
在定义卷积层时,您可以使用名称值对参数调整图层的学习速率和正常化选项。如果您选择不指定这些选项,那么据CO.D.E.CL.一种S.S.="function">trainNetwork据/CO.D.E.>使用与定义的全球培训方案据CO.D.E.CL.一种S.S.="function">培训选项据/CO.D.E.>函数。有关全局和层训练选项的详细信息,请参见据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/setting-up-parameters-and-training-of-a-convnet.html" class="a">卷积神经网络参数的建立与训练据/一种>.据/P.>
层数据/H4>
卷积神经网络可以由一个或多个卷积层组成。卷积层的数量取决于数据的数量和复杂性。据/P.>
使用。创建批处理规范化层据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.batchnormalizationlayer.html"> 批量归一化层将跨越批次的每个输入通道标准化。为了加速卷积神经网络的培训,降低网络初始化的敏感性,在卷积层和非线性之间使用批量归一化层,例如Relu层。据/S.P.一种N> 该层首先通过减去小批量均值并除以小批量标准差对每个通道的激活进行归一化。然后,该层将输入移动一个可学习的偏移量据E.m class="varname">β据/E.m>然后用一个可学习的比例因子来缩放据E.m class="varname">γ据/E.m>.据E.m class="varname">β据/E.m>和据E.m class="varname">γ据/E.m>它们本身是可学习的参数,在网络训练期间更新。据/P.>
批处理归一化层将通过神经网络传播的激活和梯度归一化,使网络训练成为一个更容易的优化问题。为了充分利用这一事实,你可以尝试提高学习速度。由于优化问题更容易,参数更新可以更大,网络可以更快地学习。你也可以试着减小L据S.ub>2据/S.ub>和辍学正规化。与批标准化的层,特定的图像的训练期间的激活取决于哪个图像碰巧出现在相同的小批量。为了充分利用这一正则化效果,尝试各种训练时期之前洗牌训练数据。要指定多久训练期间洗牌的数据,使用据CO.D.E.CL.一种S.S.="argument">“洗牌”据/CO.D.E.>名称 - 值对参数据CO.D.E.CL.一种S.S.="function">培训选项据/CO.D.E.>.据/P.>
BatchnormalizationLayer.据/CO.D.E.>.据/P.>
创建一个ReLU层使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.relulayer.html"> 甲RELU层进行阈值操作以将输入的每个元件,其中任一值小于零被设置为零。据/S.P.一种N> 卷积和批标准化层通常随后是非线性激活函数,诸如线性整流单元(RELU),由RELU层指定。甲RELU层进行阈值操作以每个元素,其中小于零的任何输入值被设置为零,即,据/P.>
Relu层不会改变其输入的大小。据/P.>
还有其他的非线性激活层执行不同的操作,可以提高某些应用的网络精度。有关激活层的列表,请参见据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/list-of-deep-learning-layers.html" class="a">激活层据/一种>.据/P.>
reluLayer据/CO.D.E.>.据/P.>
创建使用交叉信道归一化层据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.crosschannelnormalizationlayer.html"> 信道本地响应(跨信道)归一化层执行信道归一化。据/S.P.一种N> 这一层执行通道局部响应规格化。它通常跟随ReLU激活层。这一层将每个元素替换为一个标准化值,该值是使用来自一定数量的相邻通道(标准化窗口中的元素)的元素获得的。也就是说,对于每个元素据S.P.一种NCL.一种S.S.="inlineequation">
在输入,据CO.D.E.CL.一种S.S.="function">trainNetwork据/CO.D.E.>计算一个标准化值据S.P.一种NCL.一种S.S.="inlineequation">
使用据/P.>
在哪里据E.m class="varname">K.据/E.m>那据E.m class="varname">α据/E.m>, 和据E.m class="varname">β据/E.m>超参数在归一化中,和据E.m class="varname">党卫军据/E.m>是归一化窗口中元素的正方形之和据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[2]据/一种>.您必须使用归一化窗口的大小使用据CO.D.E.CL.一种S.S.="argument">windowChannelSize据/CO.D.E.>争论据CO.D.E.CL.一种S.S.="function">CrosschannelnormalizationLayer.据/CO.D.E.>函数。您还可以使用使用的超参数据CO.D.E.CL.一种S.S.="argument">α据/CO.D.E.>那据CO.D.E.CL.一种S.S.="argument">bet据/CO.D.E.>, 和据CO.D.E.CL.一种S.S.="argument">K.据/CO.D.E.>名称-值对参数。据/P.>
以前的标准化公式略有不同于所呈现的公式据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[2]据/一种>.您可以通过乘以乘以等效公式据CO.D.E.CL.一种S.S.="literal">α据/CO.D.E.>价值由据CO.D.E.CL.一种S.S.="literal">windowChannelSize据/CO.D.E.>.据/P.>
CrosschannelnormalizationLayer.据/CO.D.E.>.据/P.>
最大池化层通过将输入划分为矩形池化区域,并计算每个区域的最大值来进行向下采样。据/S.P.一种N>创建一个最大池化层使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.maxpooling2dlayer.html"> 平均池化层通过将输入划分为矩形池化区域并计算每个区域的平均值来执行向下采样。据/S.P.一种N>创建一个平均池化层使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.averagepooling2dlayer.html"> 池化层跟随卷积层进行向下采样,因此,减少到以下层的连接数量。它们本身不执行任何学习,但减少了以下层中需要学习的参数数量。它们还有助于减少过度拟合。据/P.>
A(最大值)池层返回其输入的矩形区域的最大值。该矩形区域的大小由所确定的据CO.D.E.CL.一种S.S.="argument">poolSize据/CO.D.E.>的观点据CO.D.E.CL.一种S.S.="function">maxPoolingLayer据/CO.D.E.>.例如,如果据CO.D.E.CL.一种S.S.="argument">poolSize据/CO.D.E.>等于据CO.D.E.CL.一种S.S.="literal">[2,3]据/CO.D.E.>,则该层返回高度2和宽度3区域的最大值。据/S.P.一种N>平均池化层输出其输入矩形区域的平均值。该矩形区域的大小由所确定的据CO.D.E.CL.一种S.S.="argument">poolSize据/CO.D.E.>的观点据CO.D.E.CL.一种S.S.="function">averagePoolingLayer据/CO.D.E.>.例如,如果据CO.D.E.CL.一种S.S.="argument">poolSize据/CO.D.E.>是[2,3],则该层返回高度2和3的宽度的区域的平均值。据/S.P.一种N> 池化层水平和垂直扫描输入的步长,您可以使用据CO.D.E.CL.一种S.S.="argument">'走吧'据/CO.D.E.>名称-值对的论点。如果池大小小于或等于步幅,则池区域不重叠。据/P.>
对于不重叠的区域(据E.m class="varname">池大小据/E.m>和据E.m class="varname">步据/E.m>是相等的),如果输入到池层的输入是据E.m class="varname">N据/E.m>——- - - - - -据E.m class="varname">N据/E.m>,并且汇集区域大小是据E.m class="varname">H据/E.m>——- - - - - -据E.m class="varname">H据/E.m>,则池层下采样的区域由据E.m class="varname">H据/E.m>[6]据/一种>.即卷积层的一个通道的最大池化层或平均池化层的输出为据E.m class="varname">N据/E.m>/据E.m class="varname">H据/E.m>——- - - - - -据E.m class="varname">N据/E.m>/据E.m class="varname">H据/E.m>.对于重叠区域,池化层的输出为(据E.m class="varname">输入的大小据/E.m>-据E.m class="varname">池大小据/E.m>+ 2 *据E.m class="varname">填充据/E.m>)/据E.m class="varname">步据/E.m>+ 1。据/P.>
maxPooling2dLayer据/CO.D.E.>.据/P.>
averagePooling2dLayer据/CO.D.E.>.据/P.>
创建使用漏失层据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.dropoutlayer.html"> dropout层以给定的概率将输入元素随机设置为零。据/S.P.一种N> 在训练时间,所述层中随机设置由差掩模给定的输入元件,以零据CO.D.E.CL.一种S.S.="literal">兰特(大小(X)) <概率据/CO.D.E.>,在那里据CO.D.E.CL.一种S.S.="literal">X据/CO.D.E.>是层的输入,然后通过缩放剩余的元素据CO.D.E.CL.一种S.S.="literal">1 / (1-Probability)据/CO.D.E.>.此操作有效地改变了迭代之间的底层网络架构,并有助于防止网络过拟合据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[7]据/一种>那据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[2]据/一种>.数值越高,在训练过程中掉落的元素就越多。在预测时刻,层的输出等于它的输入。据/P.>
与最大或平均池层相似,在这一层中不发生学习。据/P.>
DropoutLayer.据/CO.D.E.>.据/P.>
创建一个完全连接的层使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.fullyconnectedlayer.html"> 一个完全连通的层将输入乘以一个权值矩阵,然后添加一个偏置向量。据/S.P.一种N> 卷积(和下采样)层,接着通过一个或多个完全连接层。据/P.>
顾名思义,在一个完全连接层所有神经元连接到上一层的所有神经元。该层结合了所有的由前面的层在图像学会了识别较大的图案的特征(本地信息)。对于分类问题,最后完全连接层结合的特征对图像进行分类。这是原因,据CO.D.E.CL.一种S.S.="argument">outputSize据/CO.D.E.>网络的最后一层全连接层的参数等于数据集的类数。对于回归问题,输出大小必须等于响应变量的数量。据/P.>
在创建完全连接层时,还可以使用相关的名称-值对参数来调整该层的学习率和正则化参数。如果你选择不调整,那么据CO.D.E.CL.一种S.S.="function">trainNetwork据/CO.D.E.>使用由定义的全局训练参数据CO.D.E.CL.一种S.S.="function">培训选项据/CO.D.E.>函数。有关全局和层训练选项的详细信息,请参见据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/setting-up-parameters-and-training-of-a-convnet.html" class="a">卷积神经网络参数的建立与训练据/一种>.据/P.>
一个完全连通的层将输入乘以一个权矩阵据E.m class="varname">W.据/E.m>然后加上一个偏差向量据E.m class="varname">B.据/E.m>.据/P.>
如果该层的输入是一个序列(例如,在LSTM网络中),则全连接层在每个时间步独立工作。例如,如果完全连接层之前的层输出一个数组据E.m class="varname">X据/E.m>的大小据E.m class="varname">D.据/E.m>——- - - - - -据E.m class="varname">N据/E.m>——- - - - - -据E.m class="varname">S.据/E.m>,然后完全连接的层输出数组据E.m class="varname">Z.据/E.m>的大小据CO.D.E.CL.一种S.S.="literal">outputSize据/CO.D.E.>——- - - - - -据E.m class="varname">N据/E.m>——- - - - - -据E.m class="varname">S.据/E.m>.在时间步据E.m class="varname">T.据/E.m>,对应的项据E.m class="varname">Z.据/E.m>是据S.P.一种NCL.一种S.S.="inlineequation">
,在那里据S.P.一种NCL.一种S.S.="inlineequation">
表示时间步骤据E.m class="varname">T.据/E.m>的据E.m class="varname">X据/E.m>.据/P.>
fullyConnectedLayer据/CO.D.E.>.据/P.>
softmax层对输入端应用softmax功能。据/S.P.一种N>创建一个软最大层使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/nnet.cnn.layer.softmaxlayer.html"> 分类层计算具有互斥类的多类分类问题的交叉熵损失。据/S.P.一种N>创建一个分类层使用据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/classificationlayer.html"> 对于分类问题,一个软最大层和一个分类层必须在最后的完全连接层之后。据/P.>
输出单元激活函数为softmax函数:据/P.>
在哪里据S.P.一种NCL.一种S.S.="inlineequation">
softmaxLayer据/CO.D.E.>.据/P.>
.据/P.>
classificationLayer据/CO.D.E.>.据/P.>
和据S.P.一种NCL.一种S.S.="inlineequation">
softmax函数是针对多类分类问题的最后一层全连接后的输出单元激活函数:据/P.>
在哪里据S.P.一种NCL.一种S.S.="inlineequation"> 和据S.P.一种NCL.一种S.S.="inlineequation"> .而且,据S.P.一种NCL.一种S.S.="inlineequation"> 那据S.P.一种NCL.一种S.S.="inlineequation"> 是给定的样品类别的条件概率据E.m class="varname">R.据/E.m>, 和据S.P.一种NCL.一种S.S.="inlineequation"> 为类先验概率。据/P.>
SoftMax功能也称为据S.P.一种NCL.一种S.S.="emphasis">归一化指数据/E.m>可以认为是logistic s型函数的多类推广据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[8]据/一种>.据/P.>
对于典型的分类网络,分类层必须遵循softmax层。在分类层,据CO.D.E.CL.一种S.S.="function">trainNetwork据/CO.D.E.>从softmax函数获取值,并将每个输入赋给其中一个据E.m class="varname">K.据/E.m>使用交叉熵函数为1-OF-互斥类据E.m class="varname">K.据/E.m>编码方案据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[8]据/一种>:据/P.>
在哪里据E.m class="varname">N据/E.m>是样本数量,据E.m class="varname">K.据/E.m>是课程数量,据S.P.一种NCL.一种S.S.="inlineequation">
指标是据E.m class="varname">一世据/E.m>样本属于据E.m class="varname">j据/E.m>th类,据S.P.一种NCL.一种S.S.="inlineequation">
输出的是样品吗据E.m class="varname">一世据/E.m>为类据E.m class="varname">j据/E.m>,本例中为softmax函数的值。也就是说,它是网络与据E.m class="varname">一世据/E.m>用类输入据E.m class="varname">j据/E.m>.据/P.>
使用中创建回归层据一种HR.E.F="//www.tianjin-qmedu.com/help/deeplearning/ref/regressionlayer.html"> 回归层计算回归问题的半均方误差损失。据/S.P.一种N>对于典型的回归问题,回归层必须遵循的最终完全连接层。据/P.>
对于单个观测,均方误差为:据/P.>
在哪里据E.m class="varname">R.据/E.m>是响应的数量,据E.m class="varname">T.据S.ub>一世据/S.ub>目标输出,和据E.m class="varname">y据S.ub>一世据/S.ub>是网络对反应的预测吗据E.m class="varname">一世据/E.m>.据/P.>
对于图像和序列一回归网络,回归层的损失函数是预测响应的半均方误差,而不是归一化据E.m class="varname">R.据/E.m>:据/P.>
对于图像到图像的回归网络,回归层的损失函数是每个像素的预测响应的半均方误差,而不是归一化据E.m class="varname">R.据/E.m>:据/P.>
在哪里据E.m class="varname">H据/E.m>那据E.m class="varname">W.据/E.m>, 和据E.m class="varname">C据/E.m>分别表示的高度,宽度,并输出信道的数量,并且据E.m class="varname">P.据/E.m>的每个元素(像素)的索引据E.m class="varname">T.据/E.m>和据E.m class="varname">y据/E.m>线性。据/P.>
对于序列到序列回归网络,回归层的损失函数是针对每个时间步骤中的预测响应的半均方误差,而不是由归一化据E.m class="varname">R.据/E.m>:据/P.>
在哪里据E.m class="varname">S.据/E.m>是序列长度。据/P.>
在训练时,该软件计算在小批的观测值上的平均损失。据/P.>
regressionLayer据/CO.D.E.>.据/P.>
[1] Murphy,K。P.据E.m class="citetitle">机器学习:概率的观点据/E.m>.马萨诸塞州剑桥:麻省理工学院出版社,2012。据/P.>
[2] Krizhevsky,A.,I. Sutskever,和G. E.欣顿。“ImageNet分类与深卷积神经网络。”据E.m class="citetitle">神经信息处理系统研究进展据/E.m>.第25卷2012年。据/P.>
[3] Lecun,Y.,Boser,B.,Denker,J.S.,亨德森,D。,Howard,R.E.,Hubbard,W.,Jackel,L.D.等。'用背上传播网络的手写的数字识别。''进入据E.m class="citetitle">神经信息处理系统的进步据/E.m>, 1990年。据/P.>
勒昆(LeCun)、L.博图(L. Bottou)、Y.本吉奥(Y. Bengio)和P. Haffner。“基于梯度的学习在文档识别中的应用”。据E.m class="citetitle">IEEE会议记录。据/E.m>1998年第86卷,第2278-2324页。据/P.>
[5] Nair,V.和G. E. Hinton。“整流线性单位改善了受限制的Boltzmann机器。”在proc。第27届机器学习国际会议,2010年。据/P.>
Nagi, J., F. Ducatelle, G. A. Di Caro, D. Ciresan, U. Meier, A. Giusti, F. Nagi, J. Schmidhuber, L. M. Gambardella。基于视觉的手势识别的最大池卷积神经网络。据E.m class="citetitle">信号和图像处理应用国际会议(ICSIPA2011)据/E.m>, 2011年。据/P.>
Srivastava, N. G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov。Dropout:一种防止神经网络过拟合的简单方法据E.m class="citetitle">机床学习研究据/E.m>.第15卷,1929-1958页,2014。据/P.>
[8]毕晓普据E.m class="citetitle">模式识别和机器学习据/E.m>.施普林格,纽约,纽约,2006。据/P.>
[9]约费,塞吉,和Christian Szegedy。“批量标准化:通过减少内部协变量移加速深网络的训练”。据S.P.一种NCL.一种S.S.="emphasis">预印本,arXiv: 1502.03167据/E.m>(2015)。据/P.>
averagePooling2dLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">BatchnormalizationLayer.据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">classificationLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">clippedReluLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">Convolution2Dlayer.据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">CrosschannelnormalizationLayer.据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">DropoutLayer.据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">fullyConnectedLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">imageInputLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">leakyReluLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">maxPooling2dLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">regressionLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">reluLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">softmaxLayer据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">trainNetwork据/CO.D.E.>
|据S.P.一种N一世T.E.mscope itemtype="//www.tianjin-qmedu.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">培训选项据/CO.D.E.>
[据/S.P.一种N>1据/一种>]据/S.P.一种N>图片来源:据一种HR.E.F="https://github.com/vdumoulin/conv_arithmetic" target="_blank">卷积运算据/一种>(据一种HR.E.F="https://github.com/vdumoulin/conv_arithmetic/blob/master/LICENSE" target="_blank">许可证据/一种>)据/P.>