VAEが理解不可能だったので似たようなことをやれるGANに時系列データを学習させるなどしてみた。CNNの画像認識以外への応用が気になっていたので、Chainer DCGANを参考にモデルを組み立て、幅1pxの画像とみなした時系列データを放り込んでみる。畳み込みの都合でデータの次元を32としたため、zは小さめに3次元のベクトルとする。数十epochほど学習させると、割とそれらしい生成物を吐き出すようになったけれど、zがどの程度よいデータの表現になっているのかはまだ評価していない。t-SNEなど使って視覚化してみると良いのだろうか。しかしまあまだ全然学習が足りないと思われるのでとりあえず一晩置いて様子見である。すごいGPUが欲しい(バイト先でTITAN Xを買うかもとのことなので頼めば使わせてもらえるかもしれない)。
以前株価の予測などやってみたときにもっとも問題となったのが、期間ごとに売買パターンが変化することだった。この手のゲームは互いの信頼に対する信頼によって成り立っているようなところがあり、そのためかなり不安定な性質を持っている。これを予測するためには、直近数ヶ月くらいの短い期間からパターンを読み取る必要があり、そうなると今度は学習データが不足してしまう。それで考えたのが、GANやVAEのような教師なし学習の手法を使うことである。VAEを使って教師なし学習をすることで、mnistにおいて、たった100枚程度のラベル付きデータから誤差3％を達成したという話を何処かで読んだ。これはかなりすごいことだと思う。
どうせ沢山の人が似たようなこと考えているんでしょうけれども。
