batchnorm
语法
描述
批处理规范化操作可实现输入数据在所有观测每个通道独立。加快卷积神经网络的训练,减少对网络的初始化,使用批量规范化卷积和非线性等操作线性整流函数（Rectified Linear Unit）。
正常化后,操作改变输入可学的抵消β可学的比例因子和尺度γ。
的batchnorm功能适用于批量标准化操作dlarray数据。使用dlarray更易于处理高维数据的对象允许您标签的尺寸。例如,您可以标签尺寸对应于空间,时间,频道,使用批处理维度“S”,“T”,“C”,“B”标签,分别。未指明的和其他维度,使用“U”标签。为dlarray对象的函数操作特定的尺寸,你可以指定尺寸标签的格式dlarray直接对象,或通过使用DataFormat选择。
请注意
申请批内规范化layerGraph对象或层数组,使用batchNormalizationLayer。
Y= batchnorm (X,抵消,scaleFactor)X使用输入数据的总体均值和方差和指定的偏移量和比例因子。
函数使在规范化“年代”(空间),“T”(时间),“B”(批处理),“U”(不明)的尺寸X每个通道的“C”独立(频道)维度。
无格式的输入数据,使用“DataFormat”选择。
(适用于批量标准化操作并返回输入数据的总体均值和方差Y,popMu,popSigmaSq)= batchnorm (X,抵消,scaleFactor)X。
(适用于批量标准化操作并返回更新后的移动均值和方差的统计数据。Y,updatedMu,updatedSigmaSq)= batchnorm (X,抵消,scaleFactor,runningMu,runningSigmaSq)runningMu和runningSigmaSq之前的培训后的均值和方差值迭代,分别。
使用这种语法来维持运行值的均值和方差统计在训练。当你已经完成了培训,使用最后的更新值的均值和方差批规范化操作在预测和分类。
Y= batchnorm (X,抵消,scaleFactor,trainedMu,trainedSigmaSq)trainedMu和方差trainedSigmaSq。
使用这种语法在分类和预测,trainedMu和trainedSigmaSq最终值的均值和方差完成培训后,分别。
(___)= batchnorm (___,使用一个或多个指定附加选项名称-值对参数。例如,名称,值)“MeanDecay”, 0.3集的衰变速率移动平均计算。
例子
申请批正常化
创建一个格式化的dlarray对象包含了一批128 28-by-28图像3通道。指定的格式“SSCB”(空间、空间、通道、批)。
miniBatchSize = 128;inputSize = 28 [28];numChannels = 3;X =兰特(inputSize (1) inputSize (2), numChannels, miniBatchSize);dlX = dlarray (X,“SSCB”);
视图的大小和格式输入数据。
大小(dlX)
ans =1×4128年28日28日3
dim (dlX)
ans = ' SSCB '
初始化批量标准化的规模和抵消。对于规模,指定一个向量的。抵消,指定一个零的向量。
scaleFactor = 1 (numChannels, 1);抵消= 0 (numChannels, 1);
应用批规范化操作使用batchnorm函数和返回mini-batch统计数据。
[海底,μ,sigmaSq] = batchnorm (dlX、抵消、scaleFactor);
视图的大小和格式输出海底。
大小(海底)
ans =1×4128年28日28日3
dim(海底)
ans = ' SSCB '
查看mini-batch意味着μ。
μ
μ=3×10.4998 0.4993 0.5011
查看mini-batch方差sigmaSq。
sigmaSq
sigmaSq =3×10.0831 0.0832 0.0835
均值和方差更新多个批次的数据
使用batchnorm功能正常化几批数据后更新整个数据集的统计每个正常化。
创建三个批次的数据。10 *随机阵列的数据由五个频道。每一批包含20个观察。第二和第三批由一个倍增因子的比例1.5和2.5分别,所以数据集合的均值随每一批。
身高= 10;宽度= 10;numChannels = 5;观察= 20;X1 =兰德(高度、宽度、numChannels观察);dlX1 = dlarray (X1,“SSCB”);X2 = 1.5 *兰德(高度、宽度、numChannels观察);dlX2 = dlarray (X2,“SSCB”);X3 = 2.5 *兰德(高度、宽度、numChannels观察);dlX3 = dlarray (X3,“SSCB”);
创建可学的参数。
抵消= 0 (numChannels, 1);规模= 1 (numChannels, 1);
规范化的第一批数据dlX1使用batchnorm。获得的值均值和方差的这批输出。
[dlY1,μ,sigmaSq] = batchnorm (dlX1、抵消、规模);
第二批数据规范化dlX2。使用μ和sigmaSq作为输入获得的值的均值和方差数据批量dlX1和dlX2。
[dlY2, datasetMu datasetSigmaSq] = batchnorm (dlX2、抵消、规模、μsigmaSq);
规范化的最后一批数据dlX3。更新数据集的统计数据datasetMu和datasetSigmaSq获得的值的均值和方差在批次的所有数据dlX1,dlX2,dlX3。
[dlY3, datasetMuFull datasetSigmaSqFull] = batchnorm (dlX3、抵消、规模、datasetMu datasetSigmaSq);
观察到的变化意味着每个通道的每一批规范化。
情节([μdatasetMu datasetMuFull])传说(“通道”+字符串(1:5),“位置”,“东南”)xticks((1 2 3))包含(“批次的数量”)xlim ([0.9 - 3.1]) ylabel (“每通道的意思”)标题(“数据集的意思”)
输入参数
输出参数
算法
批处理规范化操作可实现元素x我的输入,首先计算的意思μB和方差σB2在空间、时间和观察每个通道独立维度。然后,计算归一化激活
在哪里ϵ是一个常数,提高数值稳定时方差很小。
允许输入的可能性为零均值和单位方差不是最佳的操作遵循批正常化,批处理规范化操作进一步转变和尺度转换激活使用
的偏移量β和规模因素γ在网络训练可学的参数更新。
进行预测和网络训练后,批规范化需要一个固定的均值和方差标准化数据。这个固定的均值和方差可以计算从训练数据训练后,或近似在训练使用运行统计计算。
