长-短期记忆网络是一种递归神经网络(RNN).LSTM主要用于学习、处理和对序列数据进行分类因为这些网络可以了解数据时间步长之间的长期依赖关系。常见的LSTM应用包括情感分析、语言建模、语音识别和视频分析。
LSTM应用与示例
下面的例子使用MATLAB®和深度学习工具箱™在特定应用中应用LSTM。初学者可以通过以下简单示例开始学习LSTM网络:LSTMs时间序列预测.
RNN和LSTM的技术特点
LSTM网络是RNN体系结构的一种特殊形式。两者之间的差异
本节重点介绍了LSTM的体系结构和优势。
递归神经网络(RNN)的基本结构。
实际上,简单RNN学习长期依赖关系的能力有限。RNN通常通过反向传播进行训练,在反向传播中,RNN可能会遇到“消失”或“爆炸”梯度问题。这些问题导致网络权重变得非常小或非常大,从而限制了需要网络学习长期关系的应用程序的有效性。
为了克服这个问题,LSTM网络使用额外的门来控制隐藏单元中的哪些信息作为输出导出到下一个隐藏状态。额外的门允许网络更有效地了解数据中的长期关系。对时间间隔的敏感性较低,使得LSTM网络比简单RNN更适合分析顺序数据。
除了传统rnn中的隐藏状态外,LSTM块的架构通常有一个存储单元、输入门、输出门和遗忘门,如下所示。
输入门的权重和偏差控制新值流入单元的程度。类似地,遗忘门和输出门的权重和偏差分别控制值保留在单元中的程度以及单元中的值用于计算LSTM块的输出激活的程度。
有关LSTM网络的更多详细信息,请参阅深度学习工具箱™.