RNN

ディープラーニング




RNN

まずはじめに、RNNはRecurrent Neural Networkの略です。

時系列データのように、順序に対して何らかのパターンを持っているデータに対して有効です。

現在のRNNは、主にLSTMのことを指すことが多いようです。
単純なRNNはElmanと呼ばれたりしますが、ここではRNNと呼ぶことにします。

なぜRNNは、単純なRNNはLSTMに置き換わったのかは以下にまとめます。

  1. 勾配爆発の問題
  2. 勾配消失の問題

RNNの構造

RNNは、再帰的なループ構造を持ち、系列の状態を保持することができるモデルです。

上のRNNユニットを時間軸に展開したら下のような図になります。
時間軸に展開しただけなので、同じものです。

時系列版誤差逆伝播方(BPTT)

BPTT(Back-propagation through time)

Truncated BPTT

時系列のシーケンス(\(x_0, x_1, \dots, x_n\))が長い場合、BPTTの実行が大変になる。
BPTTの工夫として、適当なブロックに分けて学習する方法をTruncated BPTTという。

参考

PyTorchニューラルネットワーク 実装ハンドブック | 宮本圭一郎, 大川洋平, 毛利拓也 | 工学 | Kindleストア | Amazon
Amazonで宮本圭一郎, 大川洋平, 毛利拓也の{ProductTitle}。アマゾンならポイント還元本が多数。一度購入いただいた電子書籍は、KindleおよびFire端末、スマートフォンやタブレットなど、様々な端末でもお楽しみいただけます。
ゼロから作るDeep Learning ❷ ―自然言語処理編 | 斎藤 康毅 |本 | 通販 | Amazon
Amazonで斎藤 康毅のゼロから作るDeep Learning ❷ ―自然言語処理編。アマゾンならポイント還元本が多数。斎藤 康毅作品ほか、お急ぎ便対象商品は当日お届けも可能。またゼロから作るDeep Learning ❷ ―自然言語処理編もアマゾン配送商品なら通常配送無料。
  1. RNNとLSTMを理解する|sagantaf
  2. リカレントニューラルネットワークの概要と動作原理
  3. Recurrent Neural Network

動画で学習

Deep Learning入門:Recurrent Neural Networksとは?
タイトルとURLをコピーしました