默认层初始化

该表显示了每一层的可学习参数的默认初始化，并提供了链接，展示了如何使用相同的初始化来初始化模型函数的可学习参数。

可学的参数大小

在初始化模型函数的可学习参数时，必须指定正确大小的参数。可学习参数的大小取决于深度学习操作的类型。

Glorot初始化

gloot(也称为Xavier)初始化器［1］从有界均匀分布中抽样权值 $$［-\sqrt{\frac{6}{N_o+N_{我}}}，\sqrt{\frac{6}{N_o+N_{我}}}］$$，其中的值N_o和N_我取决于深度学习操作的类型。

要使用gloria初始化器轻松初始化可学习参数，您可以定义一个自定义函数。这个函数initializeGlorot将可学习参数的大小作为输入深圳和值N_o和N_我（numOut和numIn，并以a的形式返回采样的权重dlarray具有底层类型的对象“单一”．

函数Z = 2*rand(sz, numOut,numIn)“单一”) - 1;bound =√(6 / (numIn + numOut));weights = bound * Z;重量= dlarray(重量);结束

filterSize = [5 5];numChannels = 3;numFilters = 128;sz = [filterSize numChannels numFilters];numOut = prod(filterSize) * numFilters;numIn = prod(filterSize) * numFilters;parameters.conv.Weights = initializeGlorot(深圳、numOut numIn);

他的初始化

他初始化［2］样本权值来自于均值和方差为零的正态分布 $$\frac{2}{N_{我}}$$，其中值N_我取决于深度学习操作的类型。

要使用He初始化器轻松初始化可学习参数，可以定义一个自定义函数。这个函数initializeHe将可学习参数的大小作为输入深圳，价值N_我，并以a的形式返回采样的权重dlarray具有底层类型的对象“单一”．

函数(sz,numIn) =初始化“单一”) *√2 / numIn);重量= dlarray(重量);结束

filterSize = [5 5];numChannels = 3;numFilters = 128;sz = [filterSize numChannels numFilters];numIn = prod(filterSize) * numFilters;numIn parameters.conv.Weights = initializeHe(深圳);

高斯函数初始化

高斯初始化器从正态分布中采样权值。

要使用高斯初始化器轻松初始化可学习参数，您可以定义一个自定义函数。这个函数initializeGaussian将可学习参数的大小作为输入深圳，分布均值μ，和分布标准差σ，并以a的形式返回采样的权重dlarray具有底层类型的对象“单一”．

函数权重= initializgauss (sz,mu,sigma)“单一”σ)* +μ;重量= dlarray(重量);结束

embeddingDimension = 300;vocabularySize = 5000;μ= 0;σ= 0.01;sz = [embedingdimension vocabularySize];parameters.emb.Weights = initializeGaussian (sz、μ、σ);

统一的初始化

均匀初始化器从均匀分布中采样权重。

要使用统一初始化器轻松初始化可学习参数，您可以定义一个自定义函数。这个函数initializeUniform将可学习参数的大小作为输入深圳，以及分布的界限绑定，并以a的形式返回采样的权重dlarray具有底层类型的对象“单一”．

函数参数= initializeUniform(sz,bound) Z = 2*rand(sz，“单一”) - 1;参数= bound * Z;参数= dlarray(参数);结束

Sz = [100 100];绑定= 0.1;parameters.attentionn.Weights = initializeUniform(深圳、绑定);

正交初始化

正交初始化器返回正交矩阵问的QR分解Z = QR,在那里Z是否从单位正态分布中抽样Z匹配可学习参数的大小。

要使用正交初始化器轻松初始化可学习参数，可以定义自定义函数。这个函数initializeOrthogonal将可学习参数的大小作为输入深圳，并返回正交矩阵adlarray具有底层类型的对象“单一”．

函数参数= initializeOrthogonal(sz)“单一”）;(Q, R) = qr (Z, 0);D =诊断接头(R);Q = Q * diag(D ./ abs(D));参数= dlarray (Q);结束

numHiddenUnits = 100;sz = [4*numHiddenUnits numHiddenUnits];parameters.lstm.RecurrentWeights = initializeOrthogonal(深圳);

单元遗忘门初始化

单元遗忘门初始化器初始化LSTM操作的偏差，以便偏差的遗忘门组件为1，其余条目为0。

要使用正交初始化器轻松初始化可学习参数，可以定义自定义函数。这个函数initializeUnitForgetGate将LSTM操作中的隐藏单元数作为输入，并将偏差作为a返回dlarray具有底层类型的对象“单一”．

函数bias = initializeUnitForgetGate(numHiddenUnits) bias = 0 (4*numHiddenUnits,1，“单一”）;idx = numHiddenUnits + 1:2 * numHiddenUnits;偏见(idx) = 1;偏见= dlarray(偏差);结束

numHiddenUnits = 100;parameters.lstm.Bias = initializeUnitForgetGate (numHiddenUnits,“单一”）;

的初始化

为了方便地用参数初始化可学习参数，可以定义自定义函数。这个函数initializeOnes将可学习参数的大小作为输入深圳，并将参数作为dlarray具有底层类型的对象“单一”．

函数sz, sz, sz, sz，“单一”）;参数= dlarray(参数);结束

numChannels = 128;sz = [numChannels 1];parameters.bn.Scale = initializeOnes(深圳);

零初始化

要用零轻松初始化可学习参数，可以定义自定义函数。这个函数initializeZeros将可学习参数的大小作为输入深圳，并将参数作为dlarray具有底层类型的对象“单一”．

函数参数= initializeZeros(sz)“单一”）;参数= dlarray(参数);结束

numChannels = 128;sz = [numChannels 1];parameters.bn.Offset = initializeZeros(深圳);

存储可学的参数

建议将给定模型函数的可学习参数存储在单个对象中，如结构体、表或单元格数组。有关如何将可学习参数初始化为结构体的示例，请参见使用模型函数的列车网络．

参数= dlupdate (@gather、参数);

参数= dlupdate (@gpuArray、参数);