批次标准
独立地对每个通道的所有观测值进行归一化
语法
描述
批处理标准化操作独立地对每个通道的所有观测值的输入数据进行标准化。为了加快卷积神经网络的训练速度并降低对网络初始化的敏感性，在卷积和非线性操作（如雷卢.
标准化后，操作将输入移动一个可学习的偏移量β并通过可学习的比例因子对其进行缩放γ.
这个批次标准函数将批处理规范化操作应用于dlarray数据使用dlarray对象允许您标记标注，从而使处理高维数据变得更容易。例如，您可以使用标签标记哪些标注对应于空间、时间、通道和批次标注'S',“不”,“C”和“B”标签。对于未指定尺寸和其他尺寸，请使用“你”标签对于dlarray对于在特定标注上操作的对象函数，可以通过格式化dlarray对象，或使用“数据格式”选项
例子
应用批处理规范化
创建一个格式化的dlarray对象，该对象包含具有3个通道的128个28×28图像。请指定格式“SSCB”（空间、空间、通道、批次）。
miniBatchSize=128；输入大小=[28]；numChannels=3；X=兰德（inputSize（1）、inputSize（2）、NumChannel、miniBatchSize）；dlX=dlX阵列（X，“SSCB”);
查看输入数据的大小和格式。
尺寸（dlX）
ans=1×428 28 3 128
dims（dlX）
ans=‘SSCB’
初始化批量标准化的比例和偏移量。对于比例，指定一个1的向量。对于偏差，指定一个0的向量。
scaleFactor=1（numChannels，1）；offset=0（numChannels，1）；
使用批次标准函数并返回小批量统计信息。
[dlY，mu，sigmaSq]=batchnorm（dlX，offset，scaleFactor）；
查看输出的大小和格式德利.
尺寸（dlY）
ans=1×428 28 3 128
昏暗（dlY）
ans=‘SSCB’
查看小批量平均值亩.
亩
亩=3×10.4998 0.4993 0.5011
查看小批量差异西格马斯克.
西格马斯克
西格马斯克=3×10.0831 0.0832 0.0835
更新多批数据的均值和方差
使用批次标准函数用于规范化多批数据，并在每次规范化后更新整个数据集的统计信息。
创建三批数据。数据由10×10的随机数组和五个通道组成。每批包含20个观察值。第二批和第三批按乘以因子的比例缩放1.5和2.5，因此数据集的平均值随批次的增加而增加。
高度=10；宽度=10；通道=5；观测值=20；X1=rand（高度、宽度、通道、观测值）；dlX1=dlarray（X1，“SSCB”)；X2=1.5*rand（高度、宽度、通道、观测值）；dlX2=dlarray（X2，“SSCB”)；X3=2.5*rand（高度、宽度、通道、观测值）；dlX3=dlarray（X3，“SSCB”);
创建可学习的参数。
偏移=零（通道，1）；比例=一（通道，1）；
使用规范化第一批数据dlX1批次标准.获取该批次的平均值和方差值作为输出。
[dlY1，mu，sigmaSq]=batchnorm（dlX1，offset，scale）；
规范化第二批数据，dlX2使用亩和西格马斯克作为输入，以批量获得数据的组合平均值和方差值dlX1和dlX2.
[dlY2，datasetMu，datasetSigmaSq]=batchnorm（dlX2，offset，scale，mu，sigmaSq）；
规范化最后一批数据，dlX3。更新数据集统计信息数据集和数据集SIGMASQ批量获取所有数据的组合均值和方差值dlX1,dlX2和dlX3.
[dlY3，datasetMuFull，datasetSigmaSqFull]=batchnorm（dlX3，offset，scale，datasetMu，datasetSigmaSq）；
当每个批次标准化时，观察每个通道平均值的变化。
绘图（[mu'；datasetMu'；datasetMuFull']）图例({“第一频道”,“第二频道”,“第三频道”,‘第四频道’,‘第五频道’},“位置”,‘东南’)xticks（[1 2 3]）xlabel(“批次数”)xlim（[0.9 3.1]）ylabel(“每通道平均值”)头衔(“数据集平均值”)
输入参数
输出参数
算法
批处理规范化操作规范化元素x我通过首先计算平均值来计算输入的μB和方差σB2.在每个通道的空间、时间和观测维度上独立进行。然后，它计算标准化激活，如下所示：
哪里ϵ是一个常数，在方差非常小时可提高数值稳定性。
考虑到平均值和单位方差为零的输入对于批次标准化之后的操作不是最优的可能性，批次标准化操作使用转换进一步移动和缩放激活
偏移量在哪里β比例因子γ是在网络培训期间更新的可学习参数。
为了在训练后使用网络进行预测，批量标准化需要一个固定的均值和方差来标准化数据。这个固定的均值和方差可以从训练后的训练数据中计算出来，或者在训练期间使用运行统计计算来近似。
扩展能力
另见
您还可以从以下列表中选择网站：
