sequenceInputLayer
序列输入层
描述
一个序列输入序列数据网络输入层。
创建
属性
例子
创建序列输入层
创建一个序列输入层的名称“seq1”和一个输入12的大小。
层= sequenceInputLayer (12,“名字”,“seq1”)
层= SequenceInputLayer属性:名称:“seq1”InputSize: 12 Hyperparameters规范化:‘没有’NormalizationDimension:“汽车”
包括一个序列输入层层数组中。
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= […sequenceInputLayer inputSize lstmLayer (numHiddenUnits,“OutputMode”,“最后一次”)fullyConnectedLayer (numClasses) softmaxLayer classificationLayer]
层x1 = 5层阵列层:1“12维度2序列输入序列输入”LSTM LSTM 100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
创建序列输入图层的图像序列
创建一个序列输入层的224 - 224年的RGB图像序列的名字“seq1”。
层= sequenceInputLayer ((224 224 3),“名字”,“seq1”)
层= SequenceInputLayer属性:名称:“seq1”InputSize: [224 224 3] Hyperparameters正常化:“没有一个”NormalizationDimension:“汽车”
网络训练序列的分类
火车深学习LSTM sequence-to-label网络分类。
加载描述的日本元音数据集[1]和[2]。XTrain是一个单元阵列包含270可变长度的序列有12个功能对应LPC倒谱系数。Y是标签的分类向量1,2,…,9。的条目XTrain与12行矩阵(为每个功能一行)和不同数量的列(每个时间步一列)。
[XTrain, YTrain] = japaneseVowelsTrainData;
可视化系列第一次在一个阴谋。每一行对应一个功能。
图绘制(XTrain{1}”)标题(“训练观察1”)numFeatures =大小(XTrain {1}, 1);传奇(“特性”+字符串(1:numFeatures),“位置”,“northeastoutside”)
定义LSTM网络体系结构。指定输入大小12(功能的输入数据的数量)。指定一个LSTM层有100个隐藏的单位和输出序列的最后一个元素。最后,指定9类包括一个完全连接层的9码,其次是softmax层和一层分类。
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= […sequenceInputLayer inputSize lstmLayer (numHiddenUnits,“OutputMode”,“最后一次”)fullyConnectedLayer (numClasses) softmaxLayer classificationLayer]
层= 5×1层阵列层:1“12维度2序列输入序列输入”LSTM LSTM 100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
指定培训选项。指定的解算器“亚当”和“GradientThreshold”为1。设置mini-batch大小27和设置时代的最大数量为70。
因为mini-batches小短序列,CPU更适合培训。集“ExecutionEnvironment”来“cpu”。火车在GPU,如果可用,集“ExecutionEnvironment”来“汽车”(默认值)。
maxEpochs = 70;miniBatchSize = 27个;选择= trainingOptions (“亚当”,…“ExecutionEnvironment”,“cpu”,…“MaxEpochs”maxEpochs,…“MiniBatchSize”miniBatchSize,…“GradientThreshold”,1…“详细”假的,…“阴谋”,“训练进步”);
火车LSTM网络培训指定的选项。
网= trainNetwork (XTrain、YTrain层,选择);
测试集和分类序列加载到扬声器。
[XTest,欧美]= japaneseVowelsTestData;
测试数据进行分类。指定相同的mini-batch大小用于培训。
XTest YPred =分类(净,“MiniBatchSize”,miniBatchSize);
计算预测的分类精度。
acc = (YPred = =欧美)。/元素个数(欧美)
acc = 0.9514
分类LSTM网络
创建一个LSTM sequence-to-label分类网络,创建数组包含一个序列输入层,一层一层LSTM,完全连接层,softmax层和输出层分类。
组的大小顺序输入层特性的输入数据的数量。设置大小完全连接层的类的数量。你不需要指定序列长度。
对于LSTM层,指定隐藏单位的数量和输出模式“最后一次”。
numFeatures = 12;numHiddenUnits = 100;numClasses = 9;层= […sequenceInputLayer numFeatures lstmLayer (numHiddenUnits,“OutputMode”,“最后一次”)fullyConnectedLayer (numClasses) softmaxLayer classificationLayer];
为一个例子,演示如何为sequence-to-label培训LSTM网络分类和分类新数据,看到的使用深度学习序列分类。
创建一个LSTM sequence-to-sequence网络分类,使用相同的架构对于sequence-to-label分类,但LSTM层的设置输出模式“序列”。
numFeatures = 12;numHiddenUnits = 100;numClasses = 9;层= […sequenceInputLayer numFeatures lstmLayer (numHiddenUnits,“OutputMode”,“序列”)fullyConnectedLayer (numClasses) softmaxLayer classificationLayer];
回归LSTM网络
创建一个LSTM sequence-to-one回归网络,创建数组包含一个序列输入层,一层一层LSTM,完全连接层和回归输出层。
组的大小顺序输入层特性的输入数据的数量。完全连接层的大小设置为响应的数量。你不需要指定序列长度。
对于LSTM层,指定隐藏单位的数量和输出模式“最后一次”。
numFeatures = 12;numHiddenUnits = 125;numResponses = 1;层= […sequenceInputLayer numFeatures lstmLayer (numHiddenUnits,“OutputMode”,“最后一次”)fullyConnectedLayer (numResponses) regressionLayer];
创建一个LSTM sequence-to-sequence回归网络使用相同的架构对于sequence-to-one回归,但LSTM层的设置输出模式“序列”。
numFeatures = 12;numHiddenUnits = 125;numResponses = 1;层= […sequenceInputLayer numFeatures lstmLayer (numHiddenUnits,“OutputMode”,“序列”)fullyConnectedLayer (numResponses) regressionLayer];
为一个例子,演示如何训练一个LSTM网络sequence-to-sequence回归和预测新数据,看到的使用深度学习Sequence-to-Sequence回归。
更深层次的LSTM网络
你可以更深的插入额外的LSTM LSTM网络层与输出模式“序列”之前LSTM层。为了防止过度拟合,可以插入后辍学层LSTM层。
sequence-to-label分类网络,输出模式的最后LSTM层必须“最后一次”。
numFeatures = 12;numHiddenUnits1 = 125;numHiddenUnits2 = 100;numClasses = 9;层= […sequenceInputLayer numFeatures lstmLayer (numHiddenUnits1,“OutputMode”,“序列”)dropoutLayer (0.2) lstmLayer (numHiddenUnits2“OutputMode”,“最后一次”)dropoutLayer (0.2) fullyConnectedLayer (numClasses) softmaxLayer classificationLayer];
sequence-to-sequence分类网络,输出模式的最后LSTM层必须“序列”。
numFeatures = 12;numHiddenUnits1 = 125;numHiddenUnits2 = 100;numClasses = 9;层= […sequenceInputLayer numFeatures lstmLayer (numHiddenUnits1,“OutputMode”,“序列”)dropoutLayer (0.2) lstmLayer (numHiddenUnits2“OutputMode”,“序列”)dropoutLayer (0.2) fullyConnectedLayer (numClasses) softmaxLayer classificationLayer];
创建网络视频分类
创建一个深入学习网络包含的图像序列数据,如视频和医学图像数据。
输入序列的图像到一个网络,使用序列输入层。
卷积操作独立应用于每个时间步,首先将图像序列转换为一个数组的图像使用序列折叠层。
恢复执行这些操作后的序列结构,这一系列图像转换为图像序列使用序列展开层。
将图像转化为特征向量,使用平层。
你可以输入向量序列LSTM和BiLSTM层。
定义网络体系结构
创建一个分类LSTM网络将28-by-28灰度图像序列分为10类。
定义以下网络体系结构:
一个序列输入层和一个输入的大小
[28 28 1]。一批卷积,规范化,ReLU层块20 5-by-5过滤器。
LSTM层有200个隐藏单元输出最后一次步。
完全连接一层10码(类的数量),后跟一个softmax层和一个分类层。
独立执行卷积操作在每个时间步,包括序列卷积前层折叠层。LSTM层期望向量序列的输入。恢复序列结构和重塑卷积层的输出序列的特征向量,插入序列卷积之间展开层和一层平层和LSTM层。
inputSize = [28 28 1];filterSize = 5;numFilters = 20;numHiddenUnits = 200;numClasses = 10;层= […sequenceInputLayer (inputSize“名字”,“输入”)sequenceFoldingLayer (“名字”,“折”)convolution2dLayer (filterSize numFilters,“名字”,“conv”)batchNormalizationLayer (“名字”,bn的)reluLayer (“名字”,“relu”)sequenceUnfoldingLayer (“名字”,“展开”)flattenLayer (“名字”,“平”)lstmLayer (numHiddenUnits“OutputMode”,“最后一次”,“名字”,“lstm”)fullyConnectedLayer (numClasses“名字”,“俱乐部”)softmaxLayer (“名字”,“softmax”)classificationLayer (“名字”,“分类”));
转换层一层图和连接miniBatchSize的输出序列折叠层的相应输入序列展开层。
lgraph = layerGraph(层);lgraph = connectLayers (lgraph,“折/ miniBatchSize”,“展开/ miniBatchSize”);
查看最后的网络体系结构使用情节函数。
图绘制(lgraph)
兼容性的考虑
引用
[1]m .奖赏,富山,和m . Shimbo。“多维曲线分类使用通过地区。”模式识别的字母。11 - 13号20卷,第1111 - 1103页。
[2]UCI机器学习库:日本元音数据集。https://archive.ics.uci.edu/ml/datasets/Japanese +元音
扩展功能
另请参阅
bilstmLayer|classifyAndUpdateState|深层网络设计师|featureInputLayer|flattenLayer|gruLayer|lstmLayer|predictAndUpdateState|resetState|sequenceFoldingLayer|sequenceUnfoldingLayer
