Redundanz

僕の言葉は、人と話をするためにあるんじゃない。

0417

 DCGANとRNNを繋いでimg2txtじみたことをやっているけれど、なかなかうまくいかない。一応それらしい日本語を吐き出しはするものの、内容が入力画像になかなか合致しないのだ。出力テキストにちょっと癖があるのも不味いのかもしれないが、そもそもGANはデータセット全体についての良い低次元の表現を得るという点ではAutoEncoder系のモデルに少し劣るのではないか、と思う。最悪の場合、DiscriminatorはGeneratorの生成物の微妙な癖などを判定基準として学習してしまい、そうなると今度はGeneratorも細かいところばかり頑張るようになってしまう。要は、モデルが人間とは異なる分節においてデータを解釈するようになってしまうのだ。結局のところ良いモデルとは、人間に近い仕方で物事を解釈するもののことであり、それはつまり、人に近い仕方で制限を課された認識枠組みのことである。GAN系のモデルはその制限が緩すぎる気がしている。そんなことを考えながら、Unsupervised Learningの論文を調べていたら、CatGANというモデルを提唱している人たちを見つけた。さらっと読んだだけなので誤解しているかもしれないけれど、これはGANのDiscriminatorをClassifierで置き換えたものらしい。面白い発想だと思う。それからつい先日、Simple Gate Unit(SGU)という新しいRNNモデルについての論文が出ていた。LSTMよりはるかに収束が速いらしい。構造は簡単ぽいので自分で書いてみようかと思ったのだけれど、どうやらChainerの中の人達がすでに実装しているっぽく(社内チャットに論文が流れてから一時間後には実装されていたとか)、それが公開されるのを待つことにした。PFNの人たちの先進性とある種の野性味?には憧れるものがある。

 知能とは人間的な仕方で歪んだ確率密度関数なのだ、という思いが日増しに強くなってゆきます。

 先日、友人と散歩をした。とくに目的地を設定せずに歩いていたのだけれど、最終的には僕の最寄り駅から本郷キャンパスまでの道のりを踏破することになった。電車以外の交通手段で大学まで行くのははじめての経験で、ああこれらは地続きに存在していたのだなと少しばかり感動する。これなら自転車通学というのもありだったのかもしれない、と思う。というかちょっと検討してみよう。今年はそれほど頻繁に通うわけでもないし、定期を買うより安上がりだろうし。なにより良い運動になる。

 ところで目的地を決めずにただ歩くということは人間には不可能なのではないか(あらゆる行為には意図が内在してしまう(それが意図の内的性質である))。