双向长短短期记忆(BILSTM)层
双向LSTM(BILSTM)层学习时间序列或序列数据的时间步长之间的双向长期依赖性。当您希望网络每次步骤中从完整的时间序列中学习时,这些依赖项可能是有用的。
numhidandunits.
-隐藏单元数(也称为隐藏大小),指定为正整数。 隐藏单元的数量对应于在时间步骤(隐藏状态)之间记住的信息量。无论序列长度如何,隐藏状态都可以包含来自所有前一次时间步长的信息。如果隐藏单元的数量太大,则该图层可能会过度装满培训数据。这个值可以从几十到几千个之间变化。 隐藏状态不会限制迭代中处理的时间步长的数量。将序列拆分为较小的序列进行培训,使用 例子:'sequencelength'
培训选项
OutputMode.
-'顺序'
(默认)|'最后的'
输出格式,指定为以下之一:
'顺序'
'最后的'
输入
-'汽车'
(默认)|输入大小,指定为正整数或 例子:'汽车'
输入
'汽车'
atteactivationFunction.
-'tanh'
(默认)|'softsign'
激活函数更新单元格和隐藏状态,指定为以下之一: 该层使用此选项作为函数
'tanh'
'softsign'
gateactivationfunction.
-'sigmoid'
(默认)|'hard-sigmoid'
激活函数适用于门,指定为以下之一:
该层使用此选项作为函数
'sigmoid'
'hard-sigmoid'
Cellstate.
-单元格状态的初始值,指定为a 设置此属性后,调用2 * numhidendunits.
重置静止
隐静塔
-隐藏状态的初始值,指定为a 设置此属性后,调用2 * numhidendunits.
重置静止
inputweightsinitializer
-'glorot'
(默认)|'他'
'正交'
'窄正常'|'zeros'|'那些'|功能手柄
初始化输入权重的功能,指定为以下之一: 功能句柄 - 使用自定义功能初始化输入权重。如果指定函数句柄,则函数必须是表单 该层仅初始化输入权重 数据类型:
'glorot'
2 /(输入+ NUMOUT)
numout = 8 * numhidentunits
'他'
2 /输入
'正交'
'窄正常'
'zeros'
'那些'
权重= func(sz)
SZ.
输入重量
char
细绳
function_handle.
经常性的重量初始化器
-'正交'
(默认)|'glorot'
'他'
'窄正常'|'zeros'|'那些'|功能手柄
初始化复发权重的功能,指定为以下之一: 功能句柄 - 使用自定义功能初始化反复值。如果指定函数句柄,则函数必须是表单 该层仅初始化复发权重 数据类型:
'正交'
'glorot'
2 /(numin + numout)
numin = numhidendunits.
numout = 8 * numhidentunits
'他'
2 / numhidentunits.
'窄正常'
'zeros'
'那些'
权重= func(sz)
SZ.
经常性重量
char
细绳
function_handle.
偏见初始化器
-'单位忘记门'
(默认)|'窄正常'
'那些'
初始化偏差的函数,指定为以下之一: 功能句柄 - 使用自定义功能初始化偏差。如果指定函数句柄,则函数必须是表单 该图层仅初始化偏差时 数据类型:
'单位忘记门'
'窄正常'
'那些'
BIAS = FUNC(SZ)
SZ.
偏见
char
细绳
function_handle.
输入重量
-[]
(默认)|输入权重,指定为矩阵。 输入权重矩阵是双向LSTM层中的组件(门)的八个输入权重矩阵的串联。八个矩阵按以下顺序垂直连接: 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 输入权重是可学习的参数。培训网络时,如果 在培训时间,
输入重量
Trainnetwork.
输入重量
输入重量
Trainnetwork.
inputweightsinitializer
输入重量
8 * numhidentunits.
输入
经常性重量
-[]
(默认)|经常性重量,指定为矩阵。 复发重量基质是双向LSTM层中的八个复发重量矩阵的串联,其组分(栅极)。八个矩阵按以下顺序垂直连接: 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 经常性重量是可学习的参数。培训网络时,如果 在培训时间,
经常性重量
Trainnetwork.
经常性重量
经常性重量
Trainnetwork.
经常性的重量初始化器
经常性重量
8 * numhidentunits.
numhidandunits.
偏见
-[]
(默认)|层偏置,指定为数字向量。 偏置载体是双向LSTM层中的组件(门)的八个偏置矢量的串联。八个载体按以下顺序垂直连接: 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 层偏置是可学习参数。培训网络时,如果 在培训时间,
偏见
Trainnetwork.
偏见
偏见
Trainnetwork.
偏见初始化器
偏见
8 * numhidentunits.
inputweightslearnratefactor.
-输入权重的学习速率因子,指定为数字标量或1×8数字矢量。 该软件通过全局学习速率乘以该系数,以确定图层的输入权重的学习速率因子。例如,如果 控制四个单独矩阵的学习率因子的值 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 要为所有矩阵指定相同的值,请指定非负标量。 例子:inputweightslearnratefactor.
培训选项
输入重量
0.1
经常复活learnratefactor.
-经常性重量的学习率因子,指定为数字标量或1×8数字矢量。 该软件通过全局学习率乘以此因素来确定层的复发权重的学习率。例如,如果 控制四个单独矩阵的学习率的值 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 要为所有矩阵指定相同的值,请指定非负标量。 例子: 例子:经常复活learnratefactor.
培训选项
经常性重量
0.1
[1 2 1 1 1 2 1 1]
Biaslearnratefactor.
-偏差的学习速率因子,指定为非负标量或1×8数字矢量。 该软件通过全局学习率乘以此因素来确定该层中偏差的学习率。例如,如果 控制四个单独矩阵的学习率因子的值 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 要为所有矩阵指定相同的值,请指定非负标量。 例子: 例子:Biaslearnratefactor.
培训选项
偏见
2
[1 2 1 1 1 2 1 1]
Inputweightsl2factor.
-L2输入权重的正则化因子,指定为数字标量或1×8数字矢量。 该软件通过全局L2正则化因子乘以此因素,以确定图层的输入权重的L2正则化因子。例如,如果 控制四个单独矩阵的L2正则化因子的值 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 要为所有矩阵指定相同的值,请指定非负标量。 例子: 例子:Inputweightsl2factor.
培训选项
输入重量
0.1
[1 2 1 1 1 2 1 1]
复发重量2.
-L2复发权重的正则化因子,指定为数字标量或1×8数字向量。 该软件通过全局L2正则化因子乘以该系数,以确定层的复发权重的L2正则化因子。例如,如果 控制四个单独矩阵的L2正则化因子的值 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 要为所有矩阵指定相同的值,请指定非负标量。 例子: 例子:复发重量2.
培训选项
经常性重量
0.1
[1 2 1 1 1 2 1 1]
biasl2factor.
-L2偏差的正则化因子,指定为非负标量。 该软件将此因子乘以全局L2正则化因子来确定该层中偏差的L2正则化。例如,如果 控制四个单独矩阵的L2正则化因子的值 输入门(向前) 忘记门(前进) 细胞候选人(前进) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选(落后) 输出门(向后) 要为所有矩阵指定相同的值,请指定非负标量。 例子: 例子:biasl2factor.
培训选项
偏见
2
[1 2 1 1 1 2 1 1]
名称
-''
(默认)|图层名称,指定为字符向量或字符串标量。如果 数据类型:名称
''
char
细绳
numinputs.
-图层的输入数。此图层仅接受单个输入。 数据类型:双倍的
输入名称
-{'在'}
(默认)图层的输入名称。此图层仅接受单个输入。 数据类型:细胞
numoutput.
-图层的输出数。此图层仅具有单个输出。 数据类型:双倍的
输出名称
-{'出去'}
(默认)图层的输出名称。此图层仅具有单个输出。 数据类型:细胞
使用名称创建一个双向LSTM层 包括一个双向LSTM层'bilstm1'
tallay = bilstmlayer(100,
TALLES = BILSTMLAYER具有属性:名称:'BILSTM1'HIDED参数输入:'AUTO'NUMHIDNENTURITS:100 OUTPUTMODE:'序列'atteActivationFunction:'Tanh'GateActivationFunction:'Sigmoid'学习参数输入重量:[]复制重量:[]偏置:[]偏见参数hiddenstate:[] cellstate:[]显示所有属性
层
输入= 12;numhidendunits = 100;numclasses = 9;层= [
图层= 5x1层阵列,带有层数:1''序列输入序列输入,带12尺寸2''Bilstm Bilstm,具有100个隐藏单元3''完全连接的9完全连接的第4层''Softmax Softmax 5''分类输出CrossentRopyex
R2019A中的行为发生了变化
从R2019A开始,软件默认情况下,使用Glorot Initializer初始化该图层的图层输入权重。这种行为有助于稳定培训,通常会降低深度网络的培训时间。 在以前的版本中,默认情况下,该软件使用来自正常分布的采样使用零均值和方差0.01,使用通过采样初始化图层输入权重。重现此行为,设置'inputweightsinitializer'
'窄正常'
R2019A中的行为发生了变化
从R2019A开始,该软件默认情况下,默认情况下初始化该层的层复发权重 在以前的版本中,默认情况下,该软件默认情况下,通过使用零平均值和方差0.01的正常分布采样来使用通过采样来初始化层复发权重。重现此行为,设置'经常性重量初始化器'
'窄正常'
[1] Glorot,Xavier和Yoshua Bengio。“了解训练深馈神经网络的难度。”在
[2]他,Kaiming,湘雅张,少清任,剑孙。“深入研究整流器:超越了在想象集分类上的人力水平表现。”在
[3] Saxe,Andrew M.,James L. McClelland和Surya Ganguli。“深线性神经网万博 尤文图斯络中学习非线性动力学的精确解决方案”。
使用说明和限制: 用于代码生成, 用于代码生成,
atteactivationFunction.
'tanh'
gateactivationfunction.
'sigmoid'
classifyandupdateState.
|Flattenlayer.
|格拉勒
|lstmlayer.
|predictandanddatestate.
|重置静止
|SequenceFoldingLayer.
|sequenceInputlayer.
|sequencfoldinglayer.
您单击了与此MATLAB命令对应的链接: 在MATLAB命令窗口中输入它来运行命令。Web浏览器不支持MATLAB命令。万博1manbetx
选择一个网站,以便在可用的地方进行翻译的内容,并查看本地活动和优惠。根据您的位置,我们建议您选择:
您还可以从以下列表中选择一个网站: 选择中国网站(以中文或英文)以获取最佳网站性能。其他MathWorks国家网站未优化您的位置。如何获得最佳网站性能
欧洲