好きな瞬間に散歩に出かけられるような人生を送りたいと思う。
どんな言葉も現実に対応してなどいないのだ、むしろ言葉はひとつの現実であり、現実が我々に何らかの制限を課すのと同じ仕方で、意味をもっている。
大量の人々を処理しているときの自動改札の電子音が水面に落ちる雨粒のように見えてきて最近ちょっと楽しいのだけれどうまく表現できない。
Deep Learningはなぜうまくいっているのかということを調べる必要があって、幾つかの論文や記事を読んでいた。それらによれば、どうやら大規模なニューラルネットの学習においては悪い局所解というのはほとんど存在せず、またLoss関数は「概ね」凸になっているらしい。パラメタが増えるほど局所解にハマりにくくなるのだ。はじめは意外に感じたが、想像するに、これだけ高次元なLoss関数上においてはある点の周りがすべて同時に上り坂になっていることは少ないのだろう。学習を妨げる超高次元落とし穴に見えたものは、実際は鞍点だったのである。ところで人間の脳においては発生初期の段階で過剰なシナプスが形成され、発達にともなって不要なものが刈り込まれてゆくことが知られている。おそらく局所解に陥りにくくする工夫なのだろう。生物というのは本当によく出来ている。
