LSTM(長・短期記憶)

LSTM(短期记忆:長・短期記憶)ネットワークは,RNN(再帰型ニューラルネットワーク)の一種です。

LSTMの強みは,時系列データの学習や予測(回帰・分類)にあります。一般的な応用分野としては感情分析,言語モデリング,音声認識,動画解析などがあります。

RNNを訓練する最も一般的な方法は,通時的誤差逆伝播法(BBTT)です。しかしながら,その勾配消失問題により長期的な情報は損なわれ,ネットワークのパラメータは短期的な依存関係を学習してしまいます。また,これとは逆の勾配爆発が発生することもあり,この場合は誤差がタイムステップ毎に大幅に増大します。

LSTMネットワークは,ゲートを用いて,関連する情報を選択的に保持し,関連しない情報を忘却することで,勾配消失問題(バニシング・グラジエント)の問題を解決します。時間差に対する感度が低いため,LSTMネットワークは単純なRNNよりも時系列データの解析に適しています。

以下がLSTMブロックのアーキテクチャです。一般的なLSTMブロックは,従来のRNNにおける隠れ状態に加え,メモリセル,入力ゲート,出力ゲート,忘却ゲートを有しています。

入力ゲートへの重みとバイアスは,新しい値のセルへの流入量を制御します。同様に,忘却ゲートと出力ゲートに対する重みとバイアスは,それぞれセル内にどの程度値が保持されるかと,そのセル内の値がどの程度LSTMブロックの出力の活性化状態を計算するために用いられるかを制御します。

LSTMネットワークの詳細については,”深度学习工具箱™“を参照してください。