LSTMの勉強中

投稿者: | 2016年6月29日

とりあえず順伝播はこんなイメージ。
数式は激しく難しいが、図式化すればそれほどでもない(かな)。

LSTM + numpyでググって出てくる下記のコードを参考にした。
An efficient, batched LSTM.

lstm

 逆伝播理解できたらNArrayで書いてみる。上のソースを読んだおかげでニューラルネットワークにおけるバッチ処理もどうやればいいかなんとなく分かってきた。通常のニューラルネットワークもparallelsのGemを使って、バッチ処理で複数のCPUを使えるようにしたい。全く関係ないがreluの性能が思ったよりよくて驚愕。そしてそろそろnumo/narrayに乗り換えないと。

 変な感想だが、もしも機械じかけのカラクリで、目に見えて動くニューラルネットワークがあったら、その仕組みは誰でも…小学生でも理解できるだろうかも知れないと思った。数式になると突然理解できなくなってしまうこの断崖って何なんだろうね。物理は目に見えるから好きだったけど、数学は嫌いだった。あの感覚に似ている。プログラミング言語のほうが数式よりも人間にやさしい。

 誰かニューラルネットワークを題材にしたマンガでも書いたらどうだろうか。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です