bilstmLayer
双向长期短期记忆(BiLSTM)层
描述
双向LSTM (BiLSTM)层学习双向长期时间步长之间的依赖关系的时间序列或序列数据。这些依赖项可以是有用的,当你想要完成网络学习时间序列在每个时间步。
创建
属性
BiLSTM
NumHiddenUnits
- - - - - -隐藏的数量单位
正整数
隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。
隐藏单位的数量对应于记忆的信息量之间的时间步骤(隐藏状态)。隐藏的状态可以包含信息从之前的所有时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。这个值可以从几十到几千不等。
隐藏的状态不限制时间的数量在迭代步骤处理。将你的序列分割成更小的训练序列,使用“SequenceLength”选项trainingOptions。
例子:200年
OutputMode
- - - - - -输出的格式
“序列”
(默认)|“最后一次”
输出格式,指定为以下之一:
“序列”——输出完整的序列。
“最后一次”——输出序列的最后一次一步。
InputSize
- - - - - -输入的大小
“汽车”
(默认)|正整数
输入大小,指定为一个正整数或“汽车”。如果InputSize是“汽车”软件自动分配,然后输入大小在训练时间。
例子:One hundred.
激活
StateActivationFunction
- - - - - -激活函数来更新细胞和隐藏状态
的双曲正切
(默认)|“softsign”
激活函数来更新细胞和隐藏状态,指定为以下之一:
的双曲正切-使用双曲正切函数(双曲正切)。
“softsign”——使用softsign函数
。
层使用这个选项作为函数
在计算更新细胞和隐藏状态。有关如何使用激活函数的更多信息在一个LSTM层,明白了长期短期记忆层。
GateActivationFunction
- - - - - -激活函数适用于盖茨
“乙状结肠”
(默认)|“hard-sigmoid”
激活函数适用于盖茨,指定为以下之一:
“乙状结肠”——使用s形的函数
。
“hard-sigmoid”——使用硬乙状结肠函数
层使用这个选项作为函数
在计算层门。
状态
CellState
- - - - - -初始值的细胞状态
数值向量
细胞状态的初始值,指定为一个2 * NumHiddenUnits1数字向量。这个值对应于细胞状态时间步长0。
设置此属性后,调用resetState这个值函数集细胞状态。
HiddenState
- - - - - -初始值的隐藏状态
数值向量
初始值的隐藏状态,指定为一个2 * NumHiddenUnits1数字向量。这个值对应于隐藏状态时间步长0。
设置此属性后,调用resetState函数设置隐藏状态到这个值。
参数和初始化
InputWeightsInitializer
- - - - - -函数来初始化输入权重
“glorot”
(默认)|“他”
|“正交”
|“narrow-normal”|“零”|“的”|函数处理
函数初始化输入重量、指定为以下之一:
“glorot”——初始化输入权重Glorot初始值设定项[1](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (InputSize + numOut),在那里numOut = 8 * NumHiddenUnits。
“他”——初始化输入权重的初始值设定项[2]。他初始化样本正态分布与零均值和方差2 / InputSize。
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[3]
“narrow-normal”——初始化输入权重独立抽样从正态分布与零均值和标准偏差0.01。
“零”——初始化输入权重与零。
“的”——初始化输入权重的。
函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是输入权重的大小。
层时才初始化输入权重InputWeights属性是空的。
数据类型:字符|字符串|function_handle
RecurrentWeightsInitializer
- - - - - -函数来初始化权重复发
“正交”
(默认)|“glorot”
|“他”
|“narrow-normal”|“零”|“的”|函数处理
初始化函数周期性的权重,指定为以下之一:
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[3]
“glorot”——初始化复发与Glorot初始化权重[1](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (numIn + numOut),在那里numIn = NumHiddenUnits和numOut = 8 * NumHiddenUnits。
“他”——初始化权重与复发他初始化[2]。他初始化样本正态分布与零均值和方差2 / NumHiddenUnits。
“narrow-normal”——初始化复发的独立抽样权重正态分布与零均值和标准偏差0.01。
“零”——初始化复发与零权重。
“的”——初始化权重复发的。
函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是复发性权重的大小。
层只初始化时的复发性权重RecurrentWeights属性是空的。
数据类型:字符|字符串|function_handle
BiasInitializer
- - - - - -函数来初始化倾向
“unit-forget-gate”
(默认)|“narrow-normal”
|“的”
|函数处理
函数初始化倾向,指定为以下之一:
“unit-forget-gate”——初始化忘记门偏见的和剩下的偏见与零。
“narrow-normal”——初始化倾向独立抽样从正态分布与零均值和标准偏差0.01。
“的”——初始化倾向。
函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能偏见= func(深圳),在那里深圳偏差的大小。
层时才初始化倾向偏见属性是空的。
数据类型:字符|字符串|function_handle
InputWeights
- - - - - -输入重量
[]
(默认)|矩阵
输入权值,指定为一个矩阵。
输入权重矩阵是一个串联的八个组件的输入权重矩阵(盖茨)双向LSTM层。八个矩阵是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
输入权重可学的参数。训练一个网络时,如果InputWeights非空的,那么trainNetwork使用InputWeights属性的初始值。如果InputWeights是空的,然后trainNetwork使用指定的初始化程序InputWeightsInitializer。
在培训时,InputWeights是一个8 * NumHiddenUnits——- - - - - -InputSize矩阵。
RecurrentWeights
- - - - - -复发性权重
[]
(默认)|矩阵
经常性的权重,指定为一个矩阵。
复发性权重矩阵是一个连接八复发性权重矩阵的组件(盖茨)双向LSTM层。八个矩阵是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
复发性权重可学的参数。训练一个网络时,如果RecurrentWeights非空的,那么trainNetwork使用RecurrentWeights属性的初始值。如果RecurrentWeights是空的,然后trainNetwork使用指定的初始化程序RecurrentWeightsInitializer。
在培训时,RecurrentWeights是一个8 * NumHiddenUnits——- - - - - -NumHiddenUnits矩阵。
偏见
- - - - - -层的偏见
[]
(默认)|数值向量
层偏见,指定为一个数值向量。
偏差向量是一个串联的八个偏差向量的分量(盖茨)双向LSTM层。八个向量是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
层偏差是可学的参数。训练一个网络时,如果偏见非空的,那么trainNetwork使用偏见属性的初始值。如果偏见是空的,然后trainNetwork使用指定的初始化程序BiasInitializer。
在培训时,偏见是一个8 * NumHiddenUnits1数字向量。
学习速率和正规化
InputWeightsLearnRateFactor
- - - - - -学习速率因子输入权重
1(默认)|数字标量|1-by-8数值向量
学习速率因子输入权值,指定为数字标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果InputWeightsLearnRateFactor是2,那么学习速率因子为输入层的权重是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
的值来控制四个人的学习速率因子矩阵InputWeights分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
RecurrentWeightsLearnRateFactor
- - - - - -反复的学习速率因素权重
1(默认)|数字标量|1-by-8数值向量
反复的学习速率因素权重,指定为数字标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果RecurrentWeightsLearnRateFactor是2,那么学习速率的复发性权重层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
控制学习的价值率四个人矩阵RecurrentWeights分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
BiasLearnRateFactor
- - - - - -学习速率因子偏见
1(默认)|负的标量|1-by-8数值向量
学习速率因子的偏见,指定为负的标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果BiasLearnRateFactor是2,那么学习速率的偏见层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
的值来控制四个人的学习速率因子矩阵偏见分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2 1 1 1 2 1 1)
InputWeightsL2Factor
- - - - - -L2正则化因子输入权重
1(默认)|数字标量|1-by-8数值向量
L2正则化因子的输入权值,指定为数字标量或1-by-8数值向量。
软件增加这个因素在全球L2正则化因子确定L2正则化因子为输入层的权重。例如,如果InputWeightsL2Factor是2,那么L2正则化因子的输入权值两次层是当前全球L2正则化因子。软件决定了L2正则化因子的基础上设置的指定trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵InputWeights分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
RecurrentWeightsL2Factor
- - - - - -复发性权重的L2正则化因素
1(默认)|数字标量|1-by-8数值向量
复发性权重L2正则化因子,指定为数字标量或1-by-8数值向量。
软件增加这个因素在全球L2正则化因子确定L2正则化因子的复发性层的权重。例如,如果RecurrentWeightsL2Factor是2,然后反复的L2正则化因子层的权重是当前全球L2正则化系数的两倍。软件决定了L2正则化因子的基础上设置的指定trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵RecurrentWeights分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
BiasL2Factor
- - - - - -偏见的L2正则化因素
0(默认)|负的标量|1-by-8数值向量
L2正则化因子的偏见,指定为负的标量。
软件繁殖这个因素在全球L2正则化因子确定L2正规化的偏见在这一层。例如,如果BiasL2Factor是2,那么L2正规化的偏见这一层是全球L2正则化系数的两倍。您可以指定全球L2正则化因子使用trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵偏见分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2 1 1 1 2 1 1)
层
的名字
- - - - - -层的名字
”
(默认)|特征向量|字符串标量
图层名称,指定为一个特征向量或字符串标量。如果的名字被设置为”,然后在训练时软件自动分配一个名称。
数据类型:字符|字符串
NumInputs
- - - - - -输入数量
1(默认)
输入层的数量。这一层只接受一个输入。
数据类型:双
InputNames
- - - - - -输入名字
{'在'}
(默认)
输入层的名称。这一层只接受一个输入。
数据类型:细胞
NumOutputs
- - - - - -数量的输出
1(默认)
输出层的数量。这一层只有一个输出。
数据类型:双
OutputNames
- - - - - -输出的名字
{“出”}
(默认)
输出层的名称。这一层只有一个输出。
数据类型:细胞
例子
创建双向LSTM层
创建一个双向LSTM图层名称“bilstm1”和100年隐藏的单位。
层= bilstmLayer (100“名字”,“bilstm1”)
层= BiLSTMLayer属性:名称:‘bilstm1 Hyperparameters InputSize:“汽车”NumHiddenUnits: 100 OutputMode:“序列”StateActivationFunction:“双曲正切GateActivationFunction: InputWeights乙状结肠的可学的参数:[]RecurrentWeights:[]偏见:[]HiddenState状态参数:[]CellState:[]显示所有属性
包括一个双向LSTM层中层数组中。
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= […sequenceInputLayer (inputSize) bilstmLayer (numHiddenUnits) fullyConnectedLayer (numClasses) softmaxLayer classificationLayer]
层x1 = 5层阵列层:1“12维度2序列输入序列输入”BiLSTM BiLSTM 100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
兼容性的考虑
默认的输入权值初始化Glorot
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化层使用Glorot初始化输入这一层的权重。这种行为可以帮助稳定培训和通常减少深层网络的训练时间。
在以前的版本中,软件,默认情况下,初始化层输入使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置“InputWeightsInitializer”层的选项“narrow-normal”。
默认复发性权重的初始化是正交的
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化这一层的层的权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。这种行为可以帮助稳定培训和通常减少深层网络的训练时间。
在以前的版本中,软件,默认情况下,初始化层反复使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置“RecurrentWeightsInitializer”层的选项“narrow-normal”。
引用
[1]Glorot,泽维尔,Yoshua Bengio。“理解的难度训练前馈神经网络。”In《十三人工智能国际会议上和统计,249 - 256页。2010年。
[2]他开明、象屿张任Shaoqing,剑太阳。“深深入整流器:超越人类表现imagenet分类。”In《IEEE计算机视觉国际会议,1026 - 1034页。2015年。
[3]萨克斯,安德鲁·M。,James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks."arXiv预印本arXiv: 1312.6120(2013)。
扩展功能
C / c++代码生成生成C和c++代码使用MATLAB®编码器™。
GPU的代码生成生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。
使用笔记和限制:
对于代码生成,StateActivationFunction属性必须设置为的双曲正切。
对于代码生成,GateActivationFunction属性必须设置为“乙状结肠”。
另请参阅
classifyAndUpdateState
|深层网络设计师 |flattenLayer
|gruLayer
|lstmLayer
|predictAndUpdateState
|resetState
|sequenceFoldingLayer
|sequenceInputLayer
|sequenceUnfoldingLayer
介绍了R2018a
双向长期短期记忆(BiLSTM)层
描述
双向LSTM (BiLSTM)层学习双向长期时间步长之间的依赖关系的时间序列或序列数据。这些依赖项可以是有用的,当你想要完成网络学习时间序列在每个时间步。
双向LSTM (BiLSTM)层学习双向长期时间步长之间的依赖关系的时间序列或序列数据。这些依赖项可以是有用的,当你想要完成网络学习时间序列在每个时间步。
创建
属性
BiLSTM
NumHiddenUnits
- - - - - -隐藏的数量单位
正整数
隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。
隐藏单位的数量对应于记忆的信息量之间的时间步骤(隐藏状态)。隐藏的状态可以包含信息从之前的所有时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。这个值可以从几十到几千不等。
隐藏的状态不限制时间的数量在迭代步骤处理。将你的序列分割成更小的训练序列,使用“SequenceLength”选项trainingOptions。
例子:200年
OutputMode
- - - - - -输出的格式
“序列”
(默认)|“最后一次”
输出格式,指定为以下之一:
“序列”——输出完整的序列。
“最后一次”——输出序列的最后一次一步。
InputSize
- - - - - -输入的大小
“汽车”
(默认)|正整数
输入大小,指定为一个正整数或“汽车”。如果InputSize是“汽车”软件自动分配,然后输入大小在训练时间。
例子:One hundred.
激活
StateActivationFunction
- - - - - -激活函数来更新细胞和隐藏状态
的双曲正切
(默认)|“softsign”
激活函数来更新细胞和隐藏状态,指定为以下之一:
的双曲正切-使用双曲正切函数(双曲正切)。
“softsign”——使用softsign函数
。
层使用这个选项作为函数
在计算更新细胞和隐藏状态。有关如何使用激活函数的更多信息在一个LSTM层,明白了长期短期记忆层。
GateActivationFunction
- - - - - -激活函数适用于盖茨
“乙状结肠”
(默认)|“hard-sigmoid”
激活函数适用于盖茨,指定为以下之一:
“乙状结肠”——使用s形的函数
。
“hard-sigmoid”——使用硬乙状结肠函数
层使用这个选项作为函数
在计算层门。
状态
CellState
- - - - - -初始值的细胞状态
数值向量
细胞状态的初始值,指定为一个2 * NumHiddenUnits1数字向量。这个值对应于细胞状态时间步长0。
设置此属性后,调用resetState这个值函数集细胞状态。
HiddenState
- - - - - -初始值的隐藏状态
数值向量
初始值的隐藏状态,指定为一个2 * NumHiddenUnits1数字向量。这个值对应于隐藏状态时间步长0。
设置此属性后,调用resetState函数设置隐藏状态到这个值。
参数和初始化
InputWeightsInitializer
- - - - - -函数来初始化输入权重
“glorot”
(默认)|“他”
|“正交”
|“narrow-normal”|“零”|“的”|函数处理
函数初始化输入重量、指定为以下之一:
“glorot”——初始化输入权重Glorot初始值设定项[1](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (InputSize + numOut),在那里numOut = 8 * NumHiddenUnits。
“他”——初始化输入权重的初始值设定项[2]。他初始化样本正态分布与零均值和方差2 / InputSize。
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[3]
“narrow-normal”——初始化输入权重独立抽样从正态分布与零均值和标准偏差0.01。
“零”——初始化输入权重与零。
“的”——初始化输入权重的。
函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是输入权重的大小。
层时才初始化输入权重InputWeights属性是空的。
数据类型:字符|字符串|function_handle
RecurrentWeightsInitializer
- - - - - -函数来初始化权重复发
“正交”
(默认)|“glorot”
|“他”
|“narrow-normal”|“零”|“的”|函数处理
初始化函数周期性的权重,指定为以下之一:
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[3]
“glorot”——初始化复发与Glorot初始化权重[1](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (numIn + numOut),在那里numIn = NumHiddenUnits和numOut = 8 * NumHiddenUnits。
“他”——初始化权重与复发他初始化[2]。他初始化样本正态分布与零均值和方差2 / NumHiddenUnits。
“narrow-normal”——初始化复发的独立抽样权重正态分布与零均值和标准偏差0.01。
“零”——初始化复发与零权重。
“的”——初始化权重复发的。
函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是复发性权重的大小。
层只初始化时的复发性权重RecurrentWeights属性是空的。
数据类型:字符|字符串|function_handle
BiasInitializer
- - - - - -函数来初始化倾向
“unit-forget-gate”
(默认)|“narrow-normal”
|“的”
|函数处理
函数初始化倾向,指定为以下之一:
“unit-forget-gate”——初始化忘记门偏见的和剩下的偏见与零。
“narrow-normal”——初始化倾向独立抽样从正态分布与零均值和标准偏差0.01。
“的”——初始化倾向。
函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能偏见= func(深圳),在那里深圳偏差的大小。
层时才初始化倾向偏见属性是空的。
数据类型:字符|字符串|function_handle
InputWeights
- - - - - -输入重量
[]
(默认)|矩阵
输入权值,指定为一个矩阵。
输入权重矩阵是一个串联的八个组件的输入权重矩阵(盖茨)双向LSTM层。八个矩阵是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
输入权重可学的参数。训练一个网络时,如果InputWeights非空的,那么trainNetwork使用InputWeights属性的初始值。如果InputWeights是空的,然后trainNetwork使用指定的初始化程序InputWeightsInitializer。
在培训时,InputWeights是一个8 * NumHiddenUnits——- - - - - -InputSize矩阵。
RecurrentWeights
- - - - - -复发性权重
[]
(默认)|矩阵
经常性的权重,指定为一个矩阵。
复发性权重矩阵是一个连接八复发性权重矩阵的组件(盖茨)双向LSTM层。八个矩阵是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
复发性权重可学的参数。训练一个网络时,如果RecurrentWeights非空的,那么trainNetwork使用RecurrentWeights属性的初始值。如果RecurrentWeights是空的,然后trainNetwork使用指定的初始化程序RecurrentWeightsInitializer。
在培训时,RecurrentWeights是一个8 * NumHiddenUnits——- - - - - -NumHiddenUnits矩阵。
偏见
- - - - - -层的偏见
[]
(默认)|数值向量
层偏见,指定为一个数值向量。
偏差向量是一个串联的八个偏差向量的分量(盖茨)双向LSTM层。八个向量是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
层偏差是可学的参数。训练一个网络时,如果偏见非空的,那么trainNetwork使用偏见属性的初始值。如果偏见是空的,然后trainNetwork使用指定的初始化程序BiasInitializer。
在培训时,偏见是一个8 * NumHiddenUnits1数字向量。
学习速率和正规化
InputWeightsLearnRateFactor
- - - - - -学习速率因子输入权重
1(默认)|数字标量|1-by-8数值向量
学习速率因子输入权值,指定为数字标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果InputWeightsLearnRateFactor是2,那么学习速率因子为输入层的权重是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
的值来控制四个人的学习速率因子矩阵InputWeights分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
RecurrentWeightsLearnRateFactor
- - - - - -反复的学习速率因素权重
1(默认)|数字标量|1-by-8数值向量
反复的学习速率因素权重,指定为数字标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果RecurrentWeightsLearnRateFactor是2,那么学习速率的复发性权重层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
控制学习的价值率四个人矩阵RecurrentWeights分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
BiasLearnRateFactor
- - - - - -学习速率因子偏见
1(默认)|负的标量|1-by-8数值向量
学习速率因子的偏见,指定为负的标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果BiasLearnRateFactor是2,那么学习速率的偏见层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
的值来控制四个人的学习速率因子矩阵偏见分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2 1 1 1 2 1 1)
InputWeightsL2Factor
- - - - - -L2正则化因子输入权重
1(默认)|数字标量|1-by-8数值向量
L2正则化因子的输入权值,指定为数字标量或1-by-8数值向量。
软件增加这个因素在全球L2正则化因子确定L2正则化因子为输入层的权重。例如,如果InputWeightsL2Factor是2,那么L2正则化因子的输入权值两次层是当前全球L2正则化因子。软件决定了L2正则化因子的基础上设置的指定trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵InputWeights分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
RecurrentWeightsL2Factor
- - - - - -复发性权重的L2正则化因素
1(默认)|数字标量|1-by-8数值向量
复发性权重L2正则化因子,指定为数字标量或1-by-8数值向量。
软件增加这个因素在全球L2正则化因子确定L2正则化因子的复发性层的权重。例如,如果RecurrentWeightsL2Factor是2,然后反复的L2正则化因子层的权重是当前全球L2正则化系数的两倍。软件决定了L2正则化因子的基础上设置的指定trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵RecurrentWeights分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
BiasL2Factor
- - - - - -偏见的L2正则化因素
0(默认)|负的标量|1-by-8数值向量
L2正则化因子的偏见,指定为负的标量。
软件繁殖这个因素在全球L2正则化因子确定L2正规化的偏见在这一层。例如,如果BiasL2Factor是2,那么L2正规化的偏见这一层是全球L2正则化系数的两倍。您可以指定全球L2正则化因子使用trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵偏见分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2 1 1 1 2 1 1)
层
的名字
- - - - - -层的名字
”
(默认)|特征向量|字符串标量
图层名称,指定为一个特征向量或字符串标量。如果的名字被设置为”,然后在训练时软件自动分配一个名称。
数据类型:字符|字符串
NumInputs
- - - - - -输入数量
1(默认)
输入层的数量。这一层只接受一个输入。
数据类型:双
InputNames
- - - - - -输入名字
{'在'}
(默认)
输入层的名称。这一层只接受一个输入。
数据类型:细胞
NumOutputs
- - - - - -数量的输出
1(默认)
输出层的数量。这一层只有一个输出。
数据类型:双
OutputNames
- - - - - -输出的名字
{“出”}
(默认)
输出层的名称。这一层只有一个输出。
数据类型:细胞
BiLSTM
NumHiddenUnits
- - - - - -隐藏的数量单位
正整数
隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。
隐藏单位的数量对应于记忆的信息量之间的时间步骤(隐藏状态)。隐藏的状态可以包含信息从之前的所有时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。这个值可以从几十到几千不等。
隐藏的状态不限制时间的数量在迭代步骤处理。将你的序列分割成更小的训练序列,使用“SequenceLength”选项trainingOptions。
例子:200年
OutputMode
- - - - - -输出的格式
“序列”
(默认)|“最后一次”
输出格式,指定为以下之一:
“序列”——输出完整的序列。
“最后一次”——输出序列的最后一次一步。
InputSize
- - - - - -输入的大小
“汽车”
(默认)|正整数
输入大小,指定为一个正整数或“汽车”。如果InputSize是“汽车”软件自动分配,然后输入大小在训练时间。
例子:One hundred.
NumHiddenUnits
- - - - - -隐藏的数量单位
正整数
正整数
隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。 隐藏单位的数量对应于记忆的信息量之间的时间步骤(隐藏状态)。隐藏的状态可以包含信息从之前的所有时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。这个值可以从几十到几千不等。 隐藏的状态不限制时间的数量在迭代步骤处理。将你的序列分割成更小的训练序列,使用 例子:“SequenceLength”
trainingOptions
OutputMode
- - - - - -输出的格式
“序列”
(默认)|“最后一次”
“序列”
(默认)|“最后一次”
输出格式,指定为以下之一:
“序列”
“最后一次”
InputSize
- - - - - -输入的大小
“汽车”
(默认)|正整数
“汽车”
(默认)|输入大小,指定为一个正整数或 例子:
激活
StateActivationFunction
- - - - - -激活函数来更新细胞和隐藏状态
的双曲正切
(默认)|“softsign”
激活函数来更新细胞和隐藏状态,指定为以下之一:
的双曲正切-使用双曲正切函数(双曲正切)。
“softsign”——使用softsign函数
。
层使用这个选项作为函数
在计算更新细胞和隐藏状态。有关如何使用激活函数的更多信息在一个LSTM层,明白了长期短期记忆层。
GateActivationFunction
- - - - - -激活函数适用于盖茨
“乙状结肠”
(默认)|“hard-sigmoid”
激活函数适用于盖茨,指定为以下之一:
“乙状结肠”——使用s形的函数
。
“hard-sigmoid”——使用硬乙状结肠函数
层使用这个选项作为函数
在计算层门。
StateActivationFunction
- - - - - -激活函数来更新细胞和隐藏状态
的双曲正切
(默认)|“softsign”
的双曲正切
(默认)|“softsign”
激活函数来更新细胞和隐藏状态,指定为以下之一: 层使用这个选项作为函数
的双曲正切
“softsign”
GateActivationFunction
- - - - - -激活函数适用于盖茨
“乙状结肠”
(默认)|“hard-sigmoid”
“乙状结肠”
(默认)|“hard-sigmoid”
激活函数适用于盖茨,指定为以下之一:
层使用这个选项作为函数
“乙状结肠”
“hard-sigmoid”
状态
CellState
- - - - - -初始值的细胞状态
数值向量
细胞状态的初始值,指定为一个2 * NumHiddenUnits1数字向量。这个值对应于细胞状态时间步长0。
设置此属性后,调用resetState这个值函数集细胞状态。
HiddenState
- - - - - -初始值的隐藏状态
数值向量
初始值的隐藏状态,指定为一个2 * NumHiddenUnits1数字向量。这个值对应于隐藏状态时间步长0。
设置此属性后,调用resetState函数设置隐藏状态到这个值。
CellState
- - - - - -初始值的细胞状态
数值向量
数值向量
细胞状态的初始值,指定为一个 设置此属性后,调用
HiddenState
- - - - - -初始值的隐藏状态
数值向量
数值向量
初始值的隐藏状态,指定为一个 设置此属性后,调用
参数和初始化
InputWeightsInitializer
- - - - - -函数来初始化输入权重
“glorot”
(默认)|“他”
|“正交”
|“narrow-normal”|“零”|“的”|函数处理
函数初始化输入重量、指定为以下之一:
“glorot”——初始化输入权重Glorot初始值设定项[1](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (InputSize + numOut),在那里numOut = 8 * NumHiddenUnits。
“他”——初始化输入权重的初始值设定项[2]。他初始化样本正态分布与零均值和方差2 / InputSize。
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[3]
“narrow-normal”——初始化输入权重独立抽样从正态分布与零均值和标准偏差0.01。
“零”——初始化输入权重与零。
“的”——初始化输入权重的。
函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是输入权重的大小。
层时才初始化输入权重InputWeights属性是空的。
数据类型:字符|字符串|function_handle
RecurrentWeightsInitializer
- - - - - -函数来初始化权重复发
“正交”
(默认)|“glorot”
|“他”
|“narrow-normal”|“零”|“的”|函数处理
初始化函数周期性的权重,指定为以下之一:
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[3]
“glorot”——初始化复发与Glorot初始化权重[1](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (numIn + numOut),在那里numIn = NumHiddenUnits和numOut = 8 * NumHiddenUnits。
“他”——初始化权重与复发他初始化[2]。他初始化样本正态分布与零均值和方差2 / NumHiddenUnits。
“narrow-normal”——初始化复发的独立抽样权重正态分布与零均值和标准偏差0.01。
“零”——初始化复发与零权重。
“的”——初始化权重复发的。
函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是复发性权重的大小。
层只初始化时的复发性权重RecurrentWeights属性是空的。
数据类型:字符|字符串|function_handle
BiasInitializer
- - - - - -函数来初始化倾向
“unit-forget-gate”
(默认)|“narrow-normal”
|“的”
|函数处理
函数初始化倾向,指定为以下之一:
“unit-forget-gate”——初始化忘记门偏见的和剩下的偏见与零。
“narrow-normal”——初始化倾向独立抽样从正态分布与零均值和标准偏差0.01。
“的”——初始化倾向。
函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能偏见= func(深圳),在那里深圳偏差的大小。
层时才初始化倾向偏见属性是空的。
数据类型:字符|字符串|function_handle
InputWeights
- - - - - -输入重量
[]
(默认)|矩阵
输入权值,指定为一个矩阵。
输入权重矩阵是一个串联的八个组件的输入权重矩阵(盖茨)双向LSTM层。八个矩阵是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
输入权重可学的参数。训练一个网络时,如果InputWeights非空的,那么trainNetwork使用InputWeights属性的初始值。如果InputWeights是空的,然后trainNetwork使用指定的初始化程序InputWeightsInitializer。
在培训时,InputWeights是一个8 * NumHiddenUnits——- - - - - -InputSize矩阵。
RecurrentWeights
- - - - - -复发性权重
[]
(默认)|矩阵
经常性的权重,指定为一个矩阵。
复发性权重矩阵是一个连接八复发性权重矩阵的组件(盖茨)双向LSTM层。八个矩阵是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
复发性权重可学的参数。训练一个网络时,如果RecurrentWeights非空的,那么trainNetwork使用RecurrentWeights属性的初始值。如果RecurrentWeights是空的,然后trainNetwork使用指定的初始化程序RecurrentWeightsInitializer。
在培训时,RecurrentWeights是一个8 * NumHiddenUnits——- - - - - -NumHiddenUnits矩阵。
偏见
- - - - - -层的偏见
[]
(默认)|数值向量
层偏见,指定为一个数值向量。
偏差向量是一个串联的八个偏差向量的分量(盖茨)双向LSTM层。八个向量是垂直连接按照以下顺序:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
层偏差是可学的参数。训练一个网络时,如果偏见非空的,那么trainNetwork使用偏见属性的初始值。如果偏见是空的,然后trainNetwork使用指定的初始化程序BiasInitializer。
在培训时,偏见是一个8 * NumHiddenUnits1数字向量。
InputWeightsInitializer
- - - - - -函数来初始化输入权重
“glorot”
(默认)|“他”
|“正交”
|“narrow-normal”|“零”|“的”|函数处理
“glorot”
(默认)|“他”
“正交”
“narrow-normal”|“零”|“的”|函数处理
函数初始化输入重量、指定为以下之一: 函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能 层时才初始化输入权重 数据类型:
“glorot”
“他”
“正交”
“narrow-normal”
“零”
“的”
字符
RecurrentWeightsInitializer
- - - - - -函数来初始化权重复发
“正交”
(默认)|“glorot”
|“他”
|“narrow-normal”|“零”|“的”|函数处理
“正交”
(默认)|“glorot”
“他”
“narrow-normal”|“零”|“的”|函数处理
初始化函数周期性的权重,指定为以下之一: 函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能 层只初始化时的复发性权重 数据类型:
“正交”
“glorot”
“他”
“narrow-normal”
“零”
“的”
字符
BiasInitializer
- - - - - -函数来初始化倾向
“unit-forget-gate”
(默认)|“narrow-normal”
|“的”
|函数处理
“unit-forget-gate”
(默认)|“narrow-normal”
“的”
函数初始化倾向,指定为以下之一: 函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能 层时才初始化倾向 数据类型:
“unit-forget-gate”
“narrow-normal”
“的”
字符
InputWeights
- - - - - -输入重量
[]
(默认)|矩阵
[]
(默认)|输入权值,指定为一个矩阵。 输入权重矩阵是一个串联的八个组件的输入权重矩阵(盖茨)双向LSTM层。八个矩阵是垂直连接按照以下顺序: 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 输入权重可学的参数。训练一个网络时,如果 在培训时,
trainNetwork
RecurrentWeights
- - - - - -复发性权重
[]
(默认)|矩阵
[]
(默认)|经常性的权重,指定为一个矩阵。 复发性权重矩阵是一个连接八复发性权重矩阵的组件(盖茨)双向LSTM层。八个矩阵是垂直连接按照以下顺序: 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 复发性权重可学的参数。训练一个网络时,如果 在培训时,
trainNetwork
偏见
- - - - - -层的偏见
[]
(默认)|数值向量
[]
(默认)|层偏见,指定为一个数值向量。 偏差向量是一个串联的八个偏差向量的分量(盖茨)双向LSTM层。八个向量是垂直连接按照以下顺序: 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 层偏差是可学的参数。训练一个网络时,如果 在培训时,
trainNetwork
学习速率和正规化
InputWeightsLearnRateFactor
- - - - - -学习速率因子输入权重
1(默认)|数字标量|1-by-8数值向量
学习速率因子输入权值,指定为数字标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果InputWeightsLearnRateFactor是2,那么学习速率因子为输入层的权重是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
的值来控制四个人的学习速率因子矩阵InputWeights分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
RecurrentWeightsLearnRateFactor
- - - - - -反复的学习速率因素权重
1(默认)|数字标量|1-by-8数值向量
反复的学习速率因素权重,指定为数字标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果RecurrentWeightsLearnRateFactor是2,那么学习速率的复发性权重层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
控制学习的价值率四个人矩阵RecurrentWeights分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
BiasLearnRateFactor
- - - - - -学习速率因子偏见
1(默认)|负的标量|1-by-8数值向量
学习速率因子的偏见,指定为负的标量或1-by-8数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果BiasLearnRateFactor是2,那么学习速率的偏见层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。
的值来控制四个人的学习速率因子矩阵偏见分配一个1-by-8向量,条目对应的学习速率因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2 1 1 1 2 1 1)
InputWeightsL2Factor
- - - - - -L2正则化因子输入权重
1(默认)|数字标量|1-by-8数值向量
L2正则化因子的输入权值,指定为数字标量或1-by-8数值向量。
软件增加这个因素在全球L2正则化因子确定L2正则化因子为输入层的权重。例如,如果InputWeightsL2Factor是2,那么L2正则化因子的输入权值两次层是当前全球L2正则化因子。软件决定了L2正则化因子的基础上设置的指定trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵InputWeights分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
RecurrentWeightsL2Factor
- - - - - -复发性权重的L2正则化因素
1(默认)|数字标量|1-by-8数值向量
复发性权重L2正则化因子,指定为数字标量或1-by-8数值向量。
软件增加这个因素在全球L2正则化因子确定L2正则化因子的复发性层的权重。例如,如果RecurrentWeightsL2Factor是2,然后反复的L2正则化因子层的权重是当前全球L2正则化系数的两倍。软件决定了L2正则化因子的基础上设置的指定trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵RecurrentWeights分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:0.1
例子:(1 2 1 1 1 2 1 1)
BiasL2Factor
- - - - - -偏见的L2正则化因素
0(默认)|负的标量|1-by-8数值向量
L2正则化因子的偏见,指定为负的标量。
软件繁殖这个因素在全球L2正则化因子确定L2正规化的偏见在这一层。例如,如果BiasL2Factor是2,那么L2正规化的偏见这一层是全球L2正则化系数的两倍。您可以指定全球L2正则化因子使用trainingOptions函数。
的值来控制四个人的L2正则化因子矩阵偏见分配一个1-by-8向量,条目对应的L2正则化因子:
输入门(向前)
忘记门(向前)
细胞候选人(向前)
输出门(向前)
输入门(向后)
忘记门(向后)
细胞候选人(向后)
输出门(向后)
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2 1 1 1 2 1 1)
InputWeightsLearnRateFactor
- - - - - -学习速率因子输入权重
1(默认)|数字标量|1-by-8数值向量
1
学习速率因子输入权值,指定为数字标量或1-by-8数值向量。 软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果 的值来控制四个人的学习速率因子矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 为所有的矩阵指定相同的值,指定一个负的标量。 例子:trainingOptions
0.1
RecurrentWeightsLearnRateFactor
- - - - - -反复的学习速率因素权重
1(默认)|数字标量|1-by-8数值向量
1
反复的学习速率因素权重,指定为数字标量或1-by-8数值向量。 软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果 控制学习的价值率四个人矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
0.1
(1 2 1 1 1 2 1 1)
BiasLearnRateFactor
- - - - - -学习速率因子偏见
1(默认)|负的标量|1-by-8数值向量
1
学习速率因子的偏见,指定为负的标量或1-by-8数值向量。 软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果 的值来控制四个人的学习速率因子矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
(1 2 1 1 1 2 1 1)
InputWeightsL2Factor
- - - - - -L2正则化因子输入权重
1(默认)|数字标量|1-by-8数值向量
1
L2正则化因子的输入权值,指定为数字标量或1-by-8数值向量。 软件增加这个因素在全球L2正则化因子确定L2正则化因子为输入层的权重。例如,如果 的值来控制四个人的L2正则化因子矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
0.1
(1 2 1 1 1 2 1 1)
RecurrentWeightsL2Factor
- - - - - -复发性权重的L2正则化因素
1(默认)|数字标量|1-by-8数值向量
1
复发性权重L2正则化因子,指定为数字标量或1-by-8数值向量。 软件增加这个因素在全球L2正则化因子确定L2正则化因子的复发性层的权重。例如,如果 的值来控制四个人的L2正则化因子矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
0.1
(1 2 1 1 1 2 1 1)
BiasL2Factor
- - - - - -偏见的L2正则化因素
0(默认)|负的标量|1-by-8数值向量
0
L2正则化因子的偏见,指定为负的标量。 软件繁殖这个因素在全球L2正则化因子确定L2正规化的偏见在这一层。例如,如果 的值来控制四个人的L2正则化因子矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
(1 2 1 1 1 2 1 1)
层
的名字
- - - - - -层的名字
”
(默认)|特征向量|字符串标量
图层名称,指定为一个特征向量或字符串标量。如果的名字被设置为”,然后在训练时软件自动分配一个名称。
数据类型:字符|字符串
NumInputs
- - - - - -输入数量
1(默认)
输入层的数量。这一层只接受一个输入。
数据类型:双
InputNames
- - - - - -输入名字
{'在'}
(默认)
输入层的名称。这一层只接受一个输入。
数据类型:细胞
NumOutputs
- - - - - -数量的输出
1(默认)
输出层的数量。这一层只有一个输出。
数据类型:双
OutputNames
- - - - - -输出的名字
{“出”}
(默认)
输出层的名称。这一层只有一个输出。
数据类型:细胞
的名字
- - - - - -层的名字
”
(默认)|特征向量|字符串标量
”
(默认)|图层名称,指定为一个特征向量或字符串标量。如果 数据类型:字符
NumInputs
- - - - - -输入数量
1(默认)
1
输入层的数量。这一层只接受一个输入。 数据类型:双
InputNames
- - - - - -输入名字
{'在'}
(默认)
{'在'}
(默认)输入层的名称。这一层只接受一个输入。 数据类型:细胞
NumOutputs
- - - - - -数量的输出
1(默认)
1
输出层的数量。这一层只有一个输出。 数据类型:双
OutputNames
- - - - - -输出的名字
{“出”}
(默认)
{“出”}
(默认)输出层的名称。这一层只有一个输出。 数据类型:细胞
例子
创建双向LSTM层
创建一个双向LSTM图层名称“bilstm1”和100年隐藏的单位。
层= bilstmLayer (100“名字”,“bilstm1”)
层= BiLSTMLayer属性:名称:‘bilstm1 Hyperparameters InputSize:“汽车”NumHiddenUnits: 100 OutputMode:“序列”StateActivationFunction:“双曲正切GateActivationFunction: InputWeights乙状结肠的可学的参数:[]RecurrentWeights:[]偏见:[]HiddenState状态参数:[]CellState:[]显示所有属性
包括一个双向LSTM层中层数组中。
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= […sequenceInputLayer (inputSize) bilstmLayer (numHiddenUnits) fullyConnectedLayer (numClasses) softmaxLayer classificationLayer]
层x1 = 5层阵列层:1“12维度2序列输入序列输入”BiLSTM BiLSTM 100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
创建双向LSTM层
创建一个双向LSTM图层名称 包括一个双向LSTM层中层= bilstmLayer (100
层= BiLSTMLayer属性:名称:‘bilstm1 Hyperparameters InputSize:“汽车”NumHiddenUnits: 100 OutputMode:“序列”StateActivationFunction:“双曲正切GateActivationFunction: InputWeights乙状结肠的可学的参数:[]RecurrentWeights:[]偏见:[]HiddenState状态参数:[]CellState:[]显示所有属性
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= [
层x1 = 5层阵列层:1“12维度2序列输入序列输入”BiLSTM BiLSTM 100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
兼容性的考虑
默认的输入权值初始化Glorot
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化层使用Glorot初始化输入这一层的权重。这种行为可以帮助稳定培训和通常减少深层网络的训练时间。
在以前的版本中,软件,默认情况下,初始化层输入使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置“InputWeightsInitializer”层的选项“narrow-normal”。
默认复发性权重的初始化是正交的
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化这一层的层的权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。这种行为可以帮助稳定培训和通常减少深层网络的训练时间。
在以前的版本中,软件,默认情况下,初始化层反复使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置“RecurrentWeightsInitializer”层的选项“narrow-normal”。
默认的输入权值初始化Glorot
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化层使用Glorot初始化输入这一层的权重。这种行为可以帮助稳定培训和通常减少深层网络的训练时间。
在以前的版本中,软件,默认情况下,初始化层输入使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置“InputWeightsInitializer”层的选项“narrow-normal”。
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化层使用Glorot初始化输入这一层的权重。这种行为可以帮助稳定培训和通常减少深层网络的训练时间。 在以前的版本中,软件,默认情况下,初始化层输入使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置
默认复发性权重的初始化是正交的
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化这一层的层的权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。这种行为可以帮助稳定培训和通常减少深层网络的训练时间。
在以前的版本中,软件,默认情况下,初始化层反复使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置“RecurrentWeightsInitializer”层的选项“narrow-normal”。
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化这一层的层的权重 在以前的版本中,软件,默认情况下,初始化层反复使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置
引用
[1]Glorot,泽维尔,Yoshua Bengio。“理解的难度训练前馈神经网络。”In《十三人工智能国际会议上和统计,249 - 256页。2010年。
[2]他开明、象屿张任Shaoqing,剑太阳。“深深入整流器:超越人类表现imagenet分类。”In《IEEE计算机视觉国际会议,1026 - 1034页。2015年。
[3]萨克斯,安德鲁·M。,James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks."arXiv预印本arXiv: 1312.6120(2013)。
[1]Glorot,泽维尔,Yoshua Bengio。“理解的难度训练前馈神经网络。”In《十三人工智能国际会议上和统计
[2]他开明、象屿张任Shaoqing,剑太阳。“深深入整流器:超越人类表现imagenet分类。”In《IEEE计算机视觉国际会议
[3]萨克斯,安德鲁·M。,James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks."arXiv预印本arXiv: 1312.6120
扩展功能
C / c++代码生成生成C和c++代码使用MATLAB®编码器™。
GPU的代码生成生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。
使用笔记和限制:
对于代码生成,StateActivationFunction属性必须设置为的双曲正切。
对于代码生成,GateActivationFunction属性必须设置为“乙状结肠”。
C / c++代码生成生成C和c++代码使用MATLAB®编码器™。
GPU的代码生成生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。
使用笔记和限制: 对于代码生成, 对于代码生成,
另请参阅
classifyAndUpdateState
|深层网络设计师 |flattenLayer
|gruLayer
|lstmLayer
|predictAndUpdateState
|resetState
|sequenceFoldingLayer
|sequenceInputLayer
|sequenceUnfoldingLayer
classifyAndUpdateState
|flattenLayer
|gruLayer
|lstmLayer
|predictAndUpdateState
|resetState
|sequenceFoldingLayer
|sequenceInputLayer
|sequenceUnfoldingLayer
MATLAB命令
你点击一个链接对应MATLAB命令: 运行该命令通过输入MATLAB命令窗口。Web浏览器不支持MATLAB命令。万博1manbetx
你也可以从下面的列表中选择一个网站: 选择中国网站(中文或英文)最佳站点的性能。其他MathWorks国家网站不优化的访问你的位置。表现最好的网站怎么走吗
欧洲