1229

　いろいろなことを考えてはいるのだが、他人に読めるような文章として書き下す余裕がない。まだ自分の中で整理がついていないというのもあるし、そもそも読み手を想定して書くことは僕にとって相当の熱量を要する作業である。労働をしているとそんな余力は残らない。自分にとって本質的と思われる思考をするので精一杯だ（それができているだけでもかなりの成功といえると思う）。なのでここの記事もどんどん箇条書き的になってしまう。パワーポイントみたいに。

　複雑な現象をシンプルにモデル化すると必ず現実との間に誤差が生じる。この誤差はできるだけ扱いやすいほうが良い。着弾位置が正規分布する銃と、ほぼ確実に射線先に着弾するが1%の確率で持ち主を殺す銃とでは、前者のほうがマシである。だから現象をモデル化する際は単純な予測精度よりもむしろ「どのような誤差を許容するか？」が重要になる。
　一度の失敗が死に繋がりかねない生物においては、誤差の扱いやすさはより一層重要になるだろう。各々の生物はそれぞれの都合に従って世界を分節化・構造化しているが、この分節線は、それを引き間違えた際の影響ができるだけ小さくなるように設計されているはずだ。人間による観測や人間の製作物等において生じる誤差がわりと自然にきれいな分布（つまり扱いやすいということ）を作るのは、実はそのへんに由来するのではないかという気がしている（つまり人間の数学体系において中心極限定理が成り立つのは、という意味）。例えばコイン投げは二項分布に従うと言われるけれど、これはほんとは順序が逆で、投げたときの裏表の分布が二項分布に従うようなものが我々にはコインとして見えていて、そうでないものはそもそもコインには見えないのではないか、コインを「コインとして」見ているのはわれわれなのだし、というような。

　何がランダムに見えるかということは、何が秩序だって見えるかということと密接な関係がある。DNN の性能の裏には SGD によって生じるノイズの働きがあるとしばらく前から盛んに指摘されているけれど、そのノイズの性質が良いほど、つまり人間から見たそれが無秩序であればあるほど、DNN は人間に近い仕方でものを見ることを学んでいると言えるんじゃなかろうか。まあこの辺りだいぶ僕の妄想が入っているので、来年は実験したり計算したりして確かめていきたいところです。

　サイコロを振って１が出る確率が1/6になるのはなぜだろうと昔は気になっていたけれど、なんのことはない、そのようにサイコロをモデル化したというだけの話だったのである。

　モデリングというのは突き詰めれば自然現象を利用して起こしたいことを起こすということで、そういう意味では、鉄の筒に火薬と弾を込めて精度よく物質を撃ち出すのと、計算機を利用してデータから高精度の予測を生み出すのに、たいした違いはない。人手による特徴量エンジニアリングはほんと拳銃作るのと変わらなくて、しかし最近は自動的に拳銃がそこに結晶するような環境が知られてきた。

　e や π は無限に続く操作の略記みたいなものだと最近感じている。これから無限にやっていくよという宣言であって、べつに無限そのものを中に持っているわけではない。というか人間にとってそれ自体意味のある数っていうのは、何らかのアルゴリズムと対応するんじゃないかな。アルゴリズムというのはつまり数えることです。

　上のように考えると、正規分布が二項分布の極限として登場したという歴史的経緯はかなり自然に思える。

　ヘッセ「車輪の下」を読んだ。たいへん美しい小説だと思う。とくにハンス・ギーベンラートとヘルマン・ハイルナーの友情の描写。ただハンスが死なねばならなかった理由がいまいちわからない。執筆背景を調べると、神学校教育への当てつけだろうかとか思わないでもない。べつに平凡な村の生活に回帰してただただやっていくという結末でも良かったんじゃないかと感じるのは、僕が挫折しつつも生きながらえた神学校脱落者みたいな自己認識を持ってるからだろうか。