主要内容

groupnorm

规范化数据分组为每个独立观测通道的子集

所有的页面崩溃

    语法

    海底= groupnorm (dlX numGroups,抵消,scaleFactor)
    海底= groupnorm (dlX numGroups,抵消,scaleFactor DataFormat, FMT)
    海底= groupnorm (___名称、值)

    描述

    集团标准化操作可实现输入数据分组为每个独立观测通道的子集。加快卷积神经网络的训练,减少对网络的初始化,使用组规范化卷积和非线性等操作线性整流函数（Rectified Linear Unit）。

    正常化后,操作改变输入可学的抵消β可学的比例因子和尺度γ。

    的groupnorm功能应用规范化操作dlarray数据。使用dlarray更易于处理高维数据的对象允许您标签的尺寸。例如,您可以标签尺寸对应于空间,时间,频道,使用批处理维度“S”,“T”,“C”,“B”标签,分别。未指明的和其他维度,使用“U”标签。为dlarray对象的函数操作特定的尺寸,你可以指定尺寸标签的格式dlarray直接对象,或通过使用DataFormat选择。

    请注意

    应用标准化组内layerGraph对象或层数组,使用groupNormalizationLayer。

    例子

    海底= groupnorm (dlX,numGroups,抵消,scaleFactor)集团标准化操作适用于输入数据dlX使用指定的组数和转换它使用指定的偏移量和比例因子。

    函数可实现分组的子集“C”(频道)维度和“年代”(空间),“T”(时间)“U”(不明)的尺寸dlX为每一个观察的“B”独立(批)维度。

    无格式的输入数据,使用“DataFormat”选择。

    例子

    海底= groupnorm (dlX,numGroups,抵消,scaleFactor、“DataFormat”FMT)集团标准化操作适用于非格式化dlarray对象dlX带格式的规定FMT。输出海底是一个非格式化dlarray对象维度的顺序一样dlX。例如,“DataFormat”、“SSCB”指定数据为二维图像输入格式“SSCB”(空间、空间、通道、批)。

    例子

    海底= groupnorm (___名称,值)指定选项使用一个或多个名称参数除了输入参数在以前的语法。例如,‘ε’,3 e-5集方差抵消3 e-5。

    例子

    全部折叠

    使用groupnorm在通道组规范化输入数据。

    创建输入数据作为一个观察的随机值的高度和宽度4和6通道。

    身高= 4;宽度= 4;渠道= 6;观察= 1;X =兰德(高度、宽度、通道观测);dlX = dlarray (X,“SSCB”);

    创建可学的参数。

    抵消= 0(频道,1);scaleFactor = 1(频道,1);

    计算归一化。将输入分成三组,每组两个渠道。

    numGroups = 3;海底= groupnorm (dlX numGroups,抵消,scaleFactor);

    输入参数

    全部折叠

    输入数据,指定为一个格式化的dlarray,一个非格式化dlarray或数字数组。

    如果dlX是一个非格式化dlarray或数值数组,那么您必须指定使用的格式“DataFormat”选择。如果dlX是一个数值数组,然后要么scaleFactor或抵消必须是一个dlarray对象。

    dlX必须有一个“C”(频道)维度。

    数字通道组的正常化,指定为一个正整数,所有渠道的,或“channel-wise”。

    numGroups 描述
    正整数 传入的渠道划分为指定数量的组。指定数量的组必须划分渠道准确的输入数据的数量。
    所有渠道的 组所有传入渠道为一个组。输入数据是标准化的所有通道。此操作也称为层正常化。另外,使用layernorm。
    “channel-wise” 对所有传入的渠道作为单独的组。此操作也称为实例正常化。另外,使用instancenorm。

    数据类型:单|双|字符|字符串

    抵消β,指定为一个格式化的dlarray,一个非格式化dlarray或数字数组和一个nonsingleton维度尺寸匹配的大小“C”(频道)维度的输入dlX。

    如果抵消是一个格式化的dlarray对象,然后nonsingleton维度必须有标签“C”(通道)。

    比例因子γ,指定为一个格式化的dlarray,一个非格式化dlarray或数字数组和一个nonsingleton维度尺寸匹配的大小“C”(频道)维度的输入dlX。

    如果scaleFactor是一个格式化的dlarray对象,然后nonsingleton维度必须有标签“C”(通道)。

    名称-值参数

    指定可选的逗号分隔条名称,值参数。的名字参数名称和吗价值相应的价值。的名字必须出现在引号。您可以指定几个名称和值对参数在任何顺序Name1, Value1,…,的家。

    例子:‘ε’,3 e-5集方差抵消3 e-5。

    维度的非格式化输入数据,指定为一个特征向量或字符串标量FMT为每个维度的数据提供一个标签。

    当你指定的格式dlarray对象,每个字符为每个维度的数据和提供一个标签必须是下列之一:

    • “S”——空间

    • “C”——频道

    • “B”批处理(例如,样品和观察)

    • “T”时间(例如,时间序列的步骤)

    • “U”——未指明的

    您可以指定多个维度标签“S”或“U”。您可以使用标签“C”,“B”,“T”最多一次。

    您必须指定DataFormat当输入数据不是一个格式化的dlarray。

    数据类型:字符|字符串

    方差抵消防止被零除错误,指定为逗号分隔组成的‘ε’和一个数字标量大于或等于1 e-5。

    数据类型:单|双

    输出参数

    全部折叠

    归一化数据,作为一个返回dlarray。输出海底有相同的底层数据类型作为输入dlX。

    如果输入数据dlX是一个格式化的dlarray,海底有相同的尺寸标签dlX。如果没有一个格式化的输入数据dlarray,海底是一个非格式化dlarray相同的尺寸订单作为输入数据。

    算法

    集团标准化操作可实现元素x我的输入,首先计算的意思μG和方差σG2在空间、时间和分组为每个独立观测通道尺寸的子集。然后,计算归一化激活

    x ^ 我 = x 我 − μ G σ G 2 + ε ,

    在哪里ϵ是一个常数,提高数值稳定时方差很小。允许输入的可能性为零均值和单位方差不是最佳的操作遵循集团标准化组织规范化操作进一步转变和尺度转换激活使用

    y 我 = γ x ^ 我 + β ,

    的偏移量β和规模因素γ在网络训练可学的参数更新。

    引用

    [1],宇新,他和开明。“组织正常化。2018年6月11日,“预印本提交。https://arxiv.org/abs/1803.08494。

    扩展功能

    另请参阅

    ||||||||

    主题

    介绍了R2020b

    深度学习工具箱文档

    万博1manbetx

    用MATLAB引入深度学习

    用MATLAB引入深度学习

    下载电子书