主要内容

geluLayer

高斯误差线性单元(GELU)层

自从R2022b

扩展所有的页面

    描述

    高斯误差的线性单元(GELU)层重量输入高斯分布下的概率。

    这个操作是由

    GELU ( x ) = x 2 ( 1 + 小块土地 ( x 2 ) ) ,

    小块土地表示误差函数的地方。

    创建

    语法

    层= geluLayer
    层= geluLayer (Name =值)

    描述

    例子

    层= geluLayer返回一个GELU层。

    层= geluLayer (名称=值)设置可选近似和的名字使用属性名-值参数。例如,geluLayer (Name = " gelu ")创建一个GELU层的名字“gelu”。

    属性

    全部展开

    GELU

    GELU近似方法操作,指定这些值之一:

    • “没有”——不使用近似。

    • 的双曲正切——近似底层误差函数使用

      小块土地 ( x 2 ) ≈ 双曲正切 ( 2 π ( x + 0.044715 x 3 ) ) 。

    提示

    在MATLAB®tanh,计算近似通常不准确,而且,对于大型输入大小,慢于不使用近似计算GELU激活。使用双曲正切近似当你想复制模型,使用这个近似,伯特和GPT-2等。

    层

    图层名称,指定为一个特征向量或字符串标量。为层数组输入,trainNetwork,assembleNetwork,layerGraph,dlnetwork函数自动分配名称层的名称”。

    数据类型:字符|字符串

    这个属性是只读的。

    输入层的数量。这一层只接受一个输入。

    数据类型:双

    这个属性是只读的。

    输入层的名称。这一层只接受一个输入。

    数据类型:细胞

    这个属性是只读的。

    输出层的数量。这一层只有一个输出。

    数据类型:双

    这个属性是只读的。

    输出层的名称。这一层只有一个输出。

    数据类型:细胞

    例子

    全部折叠

    打开生活的脚本

    创建一个GELU层。

    层= geluLayer
    层= GELULayer属性:名称:“Hyperparameters逼近:“没有”

    在一个包括GELU层层数组中。

    层= [imageInputLayer ([28 28 1]) convolution2dLayer (5、20) geluLayer maxPooling2dLayer(2步= 2)fullyConnectedLayer (10) softmaxLayer classificationLayer]
    层= 7×1层与层:数组1”的形象输入28××28日1图像zerocenter正常化2”卷积20 5×5旋转步[1]和填充[0 0 0 0]3”GELU GELU 4”马克斯池2×2马克斯池步(2 - 2)和填充[0 0 0 0]5“完全连接10完全连接层6”Softmax Softmax crossentropyex 7”分类输出

    算法

    全部展开

    引用

    [1]Hendrycks、丹和凯文Gimpel。“高斯误差线性单位(GELUs)。”Preprint, submitted June 27, 2016.https://arxiv.org/abs/1606.08415

    版本历史

    介绍了R2022b

    另请参阅

    |||

    主题