长短期记忆(LSTM)层
LSTM层长期学习时间步骤时间序列和序列数据之间的依赖关系。
层执行添加剂的相互作用,可以帮助改善梯度流长序列在训练。
NumHiddenUnits
- - - - - -隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。 隐藏单位的数量对应于记忆的信息量之间的时间步骤(隐藏状态)。隐藏的状态可以包含信息从之前的所有时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。这个值可以从几十到几千不等。 隐藏的状态不限制时间的数量在迭代步骤处理。将你的序列分割成更小的训练序列,使用 例子:“SequenceLength”
trainingOptions
OutputMode
- - - - - -“序列”
(默认)|“最后一次”
输出格式,指定为以下之一:
“序列”
“最后一次”
InputSize
- - - - - -“汽车”
(默认)|输入大小,指定为一个正整数或 例子:
StateActivationFunction
- - - - - -的双曲正切
(默认)|“softsign”
激活函数来更新细胞和隐藏状态,指定为以下之一: 层使用这个选项作为函数
的双曲正切
“softsign”
GateActivationFunction
- - - - - -“乙状结肠”
(默认)|“hard-sigmoid”
激活函数适用于盖茨,指定为以下之一:
层使用这个选项作为函数
“乙状结肠”
“hard-sigmoid”
CellState
- - - - - -细胞状态的初始值,指定为一个 设置此属性后,调用
HiddenState
- - - - - -初始值的隐藏状态,指定为一个 设置此属性后,调用
InputWeightsInitializer
- - - - - -“glorot”
(默认)|“他”
“正交”
“narrow-normal”|“零”|“的”|函数处理
函数初始化输入重量、指定为以下之一: 函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能 层时才初始化输入权重 数据类型:
“glorot”
“他”
“正交”
“narrow-normal”
“零”
“的”
字符
RecurrentWeightsInitializer
- - - - - -“正交”
(默认)|“glorot”
“他”
“narrow-normal”|“零”|“的”|函数处理
初始化函数周期性的权重,指定为以下之一: 函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能 层只初始化时的复发性权重 数据类型:
“正交”
“glorot”
“他”
“narrow-normal”
“零”
“的”
字符
BiasInitializer
- - - - - -“unit-forget-gate”
(默认)|“narrow-normal”
“的”
函数初始化倾向,指定为以下之一: 函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能 层时才初始化倾向 数据类型:
“unit-forget-gate”
“narrow-normal”
“的”
字符
InputWeights
- - - - - -[]
(默认)|输入权值,指定为一个矩阵。 输入权重矩阵是一个串联的四个组件的输入权重矩阵(盖茨)LSTM层。四个矩阵连接垂直按照以下顺序: 输入门 忘记门 细胞的候选人 输出门 输入权重可学的参数。训练一个网络时,如果 在培训时,
trainNetwork
RecurrentWeights
- - - - - -[]
(默认)|经常性的权重,指定为一个矩阵。 复发性权重矩阵是一个串联的四个组件(门)的复发性权重矩阵LSTM层。这四个矩阵是垂直连接按照以下顺序: 输入门 忘记门 细胞的候选人 输出门 复发性权重可学的参数。训练一个网络时,如果 在训练时间
trainNetwork
偏见
- - - - - -[]
(默认)|层偏见LSTM层,指定为一个数值向量。 偏差向量是一个串联的四个组件(门)的偏差向量LSTM层。四个向量是垂直连接按照以下顺序: 输入门 忘记门 细胞的候选人 输出门 层偏差是可学的参数。训练一个网络时,如果 在培训时,
trainNetwork
InputWeightsLearnRateFactor
- - - - - -学习速率因子输入权值,指定为数字标量或1-by-4数值向量。 软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果 的值来控制四个人的学习速率因子矩阵 输入门 忘记门 细胞的候选人 输出门 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
[1 2 1 1]
RecurrentWeightsLearnRateFactor
- - - - - -反复的学习速率因素权重,指定为数字标量或1-by-4数值向量。 软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果 的值来控制四个人的学习速率因子矩阵 输入门 忘记门 细胞的候选人 输出门 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
[1 2 1 1]
BiasLearnRateFactor
- - - - - -学习速率因子的偏见,指定为负的标量或1-by-4数值向量。 软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果 的值来控制四个人的学习速率因子向量 输入门 忘记门 细胞的候选人 输出门 为所有的向量指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
[1 2 1 1]
InputWeightsL2Factor
- - - - - -L2正则化因子的输入权值,指定为数字标量或1-by-4数值向量。 软件增加这个因素在全球L2正则化因子确定L2正则化因子为输入层的权重。例如,如果 的值来控制四个人的L2正则化因子矩阵 输入门 忘记门 细胞的候选人 输出门 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
[1 2 1 1]
RecurrentWeightsL2Factor
- - - - - -复发性权重L2正则化因子,指定为数字标量或1-by-4数值向量。 软件增加这个因素在全球L2正则化因子确定L2正则化因子的复发性层的权重。例如,如果 的值来控制四个人的L2正则化因子矩阵 输入门 忘记门 细胞的候选人 输出门 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
[1 2 1 1]
BiasL2Factor
- - - - - -L2正则化因子的偏见,指定为负的标量或1-by-4数值向量。 软件繁殖这个因素在全球L2正则化因子确定L2正规化的偏见在这一层。例如,如果 控制L2正规化的价值因素的四个独立的向量 输入门 忘记门 细胞的候选人 输出门 为所有的向量指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
[1 2 1 1]
的名字
- - - - - -”
(默认)|图层名称,指定为一个特征向量或字符串标量。如果 数据类型:字符
NumInputs
- - - - - -输入层的数量。这一层只接受一个输入。 数据类型:双
InputNames
- - - - - -{'在'}
(默认)输入层的名称。这一层只接受一个输入。 数据类型:细胞
NumOutputs
- - - - - -输出层的数量。这一层只有一个输出。 数据类型:双
OutputNames
- - - - - -{“出”}
(默认)输出层的名称。这一层只有一个输出。 数据类型:细胞
创建一个LSTM层的名字 包括一个LSTM层中层= lstmLayer (100
层= LSTMLayer属性:名称:‘lstm1 Hyperparameters InputSize:“汽车”NumHiddenUnits: 100 OutputMode:“序列”StateActivationFunction:“双曲正切GateActivationFunction: InputWeights乙状结肠的可学的参数:[]RecurrentWeights:[]偏见:[]HiddenState状态参数:[]CellState:[]显示所有属性
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= [
层x1 = 5层阵列层:1“12维度2序列输入序列输入”LSTM LSTM 100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
火车深学习LSTM sequence-to-label网络分类。 加载描述的日本元音数据集[1]和[2]。 可视化系列第一次在一个阴谋。每一行对应一个功能。 定义LSTM网络体系结构。指定输入大小12(功能的输入数据的数量)。指定一个LSTM层有100个隐藏的单位和输出序列的最后一个元素。最后,指定9类包括一个完全连接层的9码,其次是softmax层和一层分类。 指定培训选项。指定的解算器 因为mini-batches小短序列,CPU更适合培训。集 火车LSTM网络培训指定的选项。 测试集和分类序列加载到扬声器。 测试数据进行分类。指定相同的mini-batch大小用于培训。 计算预测的分类精度。[XTrain, YTrain] = japaneseVowelsTrainData;
图绘制(XTrain{1}”)标题(
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= [
层= 5×1层阵列层:1“12维度2序列输入序列输入”LSTM LSTM 100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
maxEpochs = 70;miniBatchSize = 27个;选择= trainingOptions (
网= trainNetwork (XTrain、YTrain层,选择);
[XTest,欧美]= japaneseVowelsTestData;
XTest YPred =分类(净,
acc = (YPred = =欧美)。/元素个数(欧美)
acc = 0.9514
创建一个LSTM sequence-to-label分类网络,创建数组包含一个序列输入层,一层一层LSTM,完全连接层,softmax层和输出层分类。 组的大小顺序输入层特性的输入数据的数量。设置大小完全连接层的类的数量。你不需要指定序列长度。 对于LSTM层,指定隐藏单位的数量和输出模式 为一个例子,演示如何为sequence-to-label培训LSTM网络分类和分类新数据,看到的 创建一个LSTM sequence-to-sequence网络分类,使用相同的架构对于sequence-to-label分类,但LSTM层的设置输出模式numFeatures = 12;numHiddenUnits = 100;numClasses = 9;层= [
numFeatures = 12;numHiddenUnits = 100;numClasses = 9;层= [
创建一个LSTM sequence-to-one回归网络,创建数组包含一个序列输入层,一层一层LSTM,完全连接层和回归输出层。 组的大小顺序输入层特性的输入数据的数量。完全连接层的大小设置为响应的数量。你不需要指定序列长度。 对于LSTM层,指定隐藏单位的数量和输出模式 创建一个LSTM sequence-to-sequence回归网络使用相同的架构对于sequence-to-one回归,但LSTM层的设置输出模式 为一个例子,演示如何训练一个LSTM网络sequence-to-sequence回归和预测新数据,看到的numFeatures = 12;numHiddenUnits = 125;numResponses = 1;层= [
numFeatures = 12;numHiddenUnits = 125;numResponses = 1;层= [
你可以更深的插入额外的LSTM LSTM网络层与输出模式 sequence-to-label分类网络,输出模式的最后LSTM层必须 sequence-to-sequence分类网络,输出模式的最后LSTM层必须numFeatures = 12;numHiddenUnits1 = 125;numHiddenUnits2 = 100;numClasses = 9;层= [
numFeatures = 12;numHiddenUnits1 = 125;numHiddenUnits2 = 100;numClasses = 9;层= [
LSTM层长期学习时间步骤时间序列和序列数据之间的依赖关系。
的层包含的状态 以下组件控制层的细胞状态和隐藏状态。 这个图表说明了在时间步的数据流 的可学的权重LSTM层输入权重
在哪里 在时间步细胞状态
在哪里 在时间步隐藏的状态
在哪里 下面的公式描述的组件在时间步 在这些计算,
组件 目的
输入门( 控制水平的细胞状态更新
忘记门( 控制水平的细胞状态重置(忘记)
细胞的候选人( 添加信息到细胞状态
输出门( 控制水平的细胞状态添加到隐藏状态
组件 公式
输入门
忘记门
细胞的候选人
输出门
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化层使用Glorot初始化输入这一层的权重。这种行为可以帮助稳定培训和通常减少深层网络的训练时间。 在以前的版本中,软件,默认情况下,初始化层输入使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置
行为改变R2019a
从R2019a开始,软件,默认情况下,初始化这一层的层的权重 在以前的版本中,软件,默认情况下,初始化层反复使用的抽样权重0.01零均值和方差的正态分布。复制这种行为,设置
[1]m .奖赏,富山,和m . Shimbo。“多维曲线分类使用通过地区。”
[2]
[3]Hochreiter S, 1997,的j。施密德胡贝尔表示。短期记忆。
[4]Glorot,泽维尔,Yoshua Bengio。“理解的难度训练前馈神经网络。”In《十三人工智能国际会议上和统计
[5],他开明、象屿张任Shaoqing,剑太阳。“深深入整流器:超越人类表现imagenet分类。”In《IEEE计算机视觉国际会议
[6]萨克斯,安德鲁·M。,James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks."arXiv预印本arXiv: 1312.6120
使用笔记和限制: 对于代码生成, 对于代码生成,
bilstmLayer
|classifyAndUpdateState
|flattenLayer
|gruLayer
|predictAndUpdateState
|resetState
|sequenceFoldingLayer
|sequenceInputLayer
|sequenceUnfoldingLayer
你点击一个链接对应MATLAB命令: 运行该命令通过输入MATLAB命令窗口。Web浏览器不支持MATLAB命令。万博1manbetx
选择一个网站翻译内容,看到当地事件和提供。根据你的位置,我们建议您选择:
你也可以从下面的列表中选择一个网站: 选择中国网站(中文或英文)最佳站点的性能。其他MathWorks国家网站不优化的访问你的位置。表现最好的网站怎么走吗
欧洲