主要内容

instanceNorm.

独立地对每个观察的每个通道进行规格化

折叠所有页面

语法

dlY=InstanceForm（dlX、偏移量、缩放因子）
dly = instanceNorm（DLX，偏移，Scalefactor，'datomformat'，fmt）
dlY=instancenorm(___名称，价值）

描述

实例规范化操作独立地规范化每个观察的每个通道上的输入数据。为了提高卷积神经网络训练的收敛性，降低对网络超参数的敏感性，在卷积和非线性运算之间使用实例归一化，如雷卢.

在归一化之后，操作通过可学习的偏移移动输入β并通过学习的比例因子来缩放它γ..

这个instanceNorm.函数将层规范化操作应用于dlarray.数据使用dlarray.通过允许您标记尺寸，对象使高维数据更容易。例如，您可以使用使用的标记对应于空间，时间，频道和批处理尺寸的维度标记“S”,“t”,“C”， 和“b”标签。对于未指定尺寸和其他尺寸，请使用“U”标签。为了dlarray.对于在特定标注上操作的对象函数，可以通过格式化dlarray.对象，或使用数据格式选项。

笔记

在应用程序中应用实例规范化分层图对象或者层数组，使用instanceNormalizationLayer.

实例

德利=instancenorm(dlX,抵消,缩放因子)将实例归一化操作应用于输入数据dlX并使用指定的偏移和比例因子进行变换。

该函数在函数的分组子集上进行规格化'S'（空间），“不”（时间和“你”（未指定的）尺寸dlX对于中的每个观察结果“C”（频道）及“B”（批量）尺寸独立。

对于未格式化的输入数据，请使用'datomformat'选项。

德利=instancenorm(dlX,抵消,缩放因子，'datomformat'，fmt）将实例规范化操作应用于未格式化的dlarray.对象dlX格式由指定FMT使用以前的任何语法。输出德利是一个无格式化的人dlarray.具有尺寸的对象与相同的顺序dlX例如'dataformat'，'sscb'指定格式为的二维图像输入数据“SSCB”（空间、空间、通道、批次）。

德利=instancenorm(___名称，价值)指定除了先前语法中的输入参数之外，还使用一个或多个名称-值对参数的选项。例如，“ε”，3e-5将方差偏移设置为3E-5.

例子

全部收缩

打开直播脚本

使用两个空间，一个通道和一个观察维度创建随机输入数据。

宽度= 12;高度= 12;频道= 6;numobservations = 16;x = RANDN（宽度，高度，频道，NUMOBSERATIONS）;dlx = dlarray（x，“SSCB”）;

创建可学习的参数。

offset = dlarray（零（通道，1））;scalefactor = dlarray（频道（频道，1））;

计算实例归一化。

DLZ = InstanceNorm（DLX，偏移，Scalefactor）;

查看规范化数据的大小和格式。

尺寸（dlZ）
ans=1×412 12 6 16
dims（dlZ）
ans ='sscb'

输入参数

全部收缩

输入数据，指定为格式化dlarray.，一个不可格式化的人dlarray.或数字数组。

如果dlX是一个无格式化的人dlarray.或数字数组，则必须使用'datomformat'选项。如果dlX是一个数字数组，则缩放因子或者抵消必须是A.dlarray.目的。

dlX必须有一个“C”（通道）尺寸。

抵消β，指定为格式化的dlarray.，一个不可格式化的人dlarray.或者一个数字数组，其中一个非星期线维度，大小与匹配的大小“C”（通道）输入的尺寸dlX.

如果抵消是一个格式化的dlarray.对象，则非Singleton标注必须具有标签“C”（频道）。

比例因子γ.，指定为格式化的dlarray.，一个不可格式化的人dlarray.或者一个数字数组，其中一个非星期线维度，大小与匹配的大小“C”（通道）输入的尺寸dlX.

如果缩放因子是一个格式化的dlarray.对象，则非Singleton标注必须具有标签“C”（频道）。

名称值参数

指定可选的逗号分隔的字符对名称，价值论点。名称是参数名和价值是相应的价值。名称必须出现在引号内。您可以以任何顺序指定多个名称和值对参数name1，value1，...，namen，valuen.

例子：“ε”，3e-5将方差偏移设置为3E-5.

未格式化的输入数据的维度顺序，指定为字符向量或字符串标量FMT为数据的每个维度提供标签。

指定a的格式dlarray.对象，每个字符为数据的每个维度提供一个标签，并且必须是以下之一：

  • “S”-空间的

  • “C”-渠道

  • “b”- 批次（例如，样品和观察）

  • “t”- 时间（例如，序列的时间步长）

  • “U”-未指明

您可以指定标记的多个维度“S”或者“U”.您可以使用标签“C”,“b”， 和“t”最多一次。

您必须指定数据格式当输入数据不是格式化的dlarray..

数据类型：char|一串

用于防止逐零错误的方差偏移，指定为逗号分隔的对“ε”并且数字标量大于或等于1e-5.

数据类型：仅有一个的|双倍的

输出参数

全部收缩

标准化数据，作为dlarray..输出德利具有与输入相同的底层数据类型dlX.

如果输入数据dlX是一个格式化的dlarray.,德利具有与相同的维度格式dlX.如果输入数据不是格式化的dlarray.,德利是一个无格式化的人dlarray.使用与输入数据相同的维度顺序。

算法

实例规范化操作规范化元素x我首先计算平均值的输入μ.我和方差σ.我2.在每次观测中，独立地计算每个通道的空间和时间维度。然后，它计算标准化激活，如下所示：

x 我 ^ = x 我 − μ. 我 σ. 我 2. + ε. ,

哪里ε.是一个常数，在方差非常小时可提高数值稳定性。

考虑到平均值和单位方差为零的输入对于实例规范化之后的操作不是最优的可能性，实例规范化操作使用转换进一步移动和缩放激活

Y 我 = γ. x ^ 我 + β ,

偏移量在哪里β和规模因子γ.是在网络培训期间更新的可学习参数。

扩展能力

另见

||||||||

话题

在R2021A介绍

深度学习工具箱文档

万博1manbetx

与Matlab引入深度学习

与Matlab引入深度学习

下载电子书