长短时记忆(LSTM)

长-短期记忆网络是一种递归神经网络(RNN).LSTM主要用于学习、处理和对序列数据进行分类因为这些网络可以了解数据时间步长之间的长期依赖关系。常见的LSTM应用包括情感分析、语言建模、语音识别和视频分析。

LSTM应用和示例

下面的例子使用MATLAB®深度学习工具箱™在特定应用中应用LSTM。初学者可以通过以下简单示例开始学习LSTM网络:使用LSTMS的时间序列预测.

雷达目标分类

在MATLAB中使用长短时记忆(LSTM)递归神经网络对雷达回波进行分类

关键词检出

当用户说出预定义的关键字时唤醒系统

文本生成

训练深度学习LSTM网络,逐字生成文本

心电信号分类

将ECG信号分类为正常或AFib,ECG信号记录一个人随时间的心脏电活动

配水系统调度

利用强化学习(RL)为配水系统生成最优水泵调度策略

视频分类

结合预训练图像分类模型和LSTM网络对视频进行分类

RNN和LSTM的技术特点

LSTM网络是RNN体系结构的一种特殊形式。两者之间的差异

循环神经网络。

本节重点介绍了LSTM的体系结构和优势。

递归神经网络(RNN)的基本结构。

实际上,简单RNN学习长期依赖关系的能力有限。RNN通常通过反向传播进行训练,在反向传播中,RNN可能会遇到“消失”或“爆炸”梯度问题。这些问题导致网络权重变得非常小或非常大,从而限制了需要网络学习长期关系的应用程序的有效性。

为了克服这个问题,LSTM网络使用额外的门来控制隐藏单元中的哪些信息作为输出导出到下一个隐藏状态。额外的门允许网络更有效地了解数据中的长期关系。对时间间隔的敏感性较低,使得LSTM网络比简单RNN更适合分析顺序数据。

除了传统RNN中的隐藏状态之外,LSTM块的架构通常具有存储器单元,输入门,输出门和忘记门,如下所示。

与RNN相比,长短时存储器(LSTM)体系结构有更多的门来控制信息流。

输入门的权重和偏差控制新值流入单元的程度。类似地,遗忘门和输出门的权重和偏差分别控制值保留在单元中的程度以及单元中的值用于计算LSTM块的输出激活的程度。

有关LSTM网络的更多详细信息,请参阅深度学习工具箱™.

另见:用于深度学习的MATLAB,机器学习,数据科学的MATLAB,GPU计算,人工智能