可视化LSTM网络的激活

这个例子展示了如何调查和可视化功能学LSTM网络提取激活。

负载pretrained网络。JapaneseVowelsNet日本元音是pretrained LSTM网络训练数据集描述在[1]和[2]。这是训练序列排序的序列长度与mini-batch 27的大小。

负载JapaneseVowelsNet

查看网络体系结构。

net.Layers

ans x1 = 5层阵列层:1“sequenceinput”序列输入序列输入12维度2的lstm lstm lstm 100隐藏单位3 fc的完全连接9完全连接层4的softmax softmax softmax 5 classoutput的分类输出crossentropyex ' 1 ', 8其他类

负载测试数据。

[XTest,欧美]= japaneseVowelsTestData;

可视化系列第一次在一个阴谋。每一行对应一个功能。

X = XTest {1};图绘制(XTest{1}”)包含(“时间步”)标题(“测试观察1”)numFeatures =大小(XTest {1}, 1);传奇(“特性”+字符串(1:numFeatures),“位置”,“northeastoutside”)

图包含一个坐标轴对象。坐标轴对象与标题测试观察1包含12线类型的对象。这些对象代表功能1、功能2、特性3功能4、5功能,特性,特性7,特性,功能,功能特性特性11日12。

为每一个时间步的序列,得到激活输出LSTM层(第二层),时间步长和更新网络状态。

sequenceLength =大小(X, 2);idxLayer = 2;outputSize = net.Layers (idxLayer) .NumHiddenUnits;为i = 1: sequenceLength特性(:,我)=激活(净,X (:, i), idxLayer);(净YPred (i)] = classifyAndUpdateState(净,X (:, i));结束

可视化前10隐藏单位使用的热图。

图的热图(功能(1:10,:));包含(“时间步”)ylabel (“隐藏单位”)标题(“LSTM激活”)

图包含一个类型的对象的热图。类型的热图的图表标题LSTM激活。

热图显示强烈每个隐藏单元激活,突显出激活随时间变化。

引用

[1]m .奖赏,富山,和m . Shimbo。“多维曲线分类使用通过地区。”模式识别的字母。11 - 13号20卷,第1111 - 1103页。

[2]UCI机器学习库:日本元音数据集。https://archive.ics.uci.edu/ml/datasets/Japanese +元音

另请参阅

可视化LSTM网络的激活

引用

另请参阅

相关的话题