长期内存网络是一种类型经常性神经网络(RNN)。LSTMS Excel在学习,处理和分类顺序数据中。公共应用领域包括情感分析,语言建模,语音识别和视频分析。

最受欢迎的培训RNN的方式是通过时间的反向化。然而,消失梯度的问题通常导致参数捕获短期依赖性,而来自早期时间步骤的信息衰减。也可能发生反向问题,爆炸梯度,导致错误每次步骤都会大幅生长。

经常性的神经网络。

长期内存网络的旨在通过使用门选择性地保留相关的信息并忘记无关的信息的信息来克服消失梯度的问题。对时间间隙的敏感性降低,使LSTM网络更好地分析顺序数据而不是简单的RNN。

LSTM块的架构如下所示。除了传统RNN中的隐藏状态之外,LSTM块通常具有存储器单元,输入门,输出门和遗忘门。

长短期内存块。

对输入门的权重和偏置控制新值流入小区的程度。类似地,对忘记门和输出门的权重和偏置控制在小区中保持值的程度以及小区中的值的范围用于分别计算LSTM块的输出激活。

有关LSTM网络的更多详细信息,请参阅深度学习工具箱™

也可以看看:深度学习机器学习数据科学Matlab GPU计算人工智能

딥러닝과전통적인머신러닝:최상의접근방식선택하기