読者です 読者をやめる 読者になる 読者になる

Redundanz

僕の言葉は、人と話をするためにあるんじゃない。

1013

哲学

 紙面を線によって分割することを考えよう。言うまでもなくこれは分節化の比喩である。紙面は世界であり線は文法であって、線に囲まれた領域は観念である。さて、ある領域を囲むために引かれた線が、意図せず他の領域をも囲っているということがありうる。このことを発見するとき、人はそこに必然性の影を見出す。なるほど観念は恣意的かもしれないが、観念が観念を導く過程は、すなわち論理は、真に必然的なのではないか?というわけである。前期ウィトゲンシュタインはおそらくそのように考えていた。基底は経験的だが、操作はそうではない、というような記述が論考にはある。だが、後期ウィトゲンシュタインにとってはもはやそうではなかった。前期ウィトゲンシュタインにとって領域を囲む輪郭線があらかじめ無限の長さを持った超越的直線であったのに対し、後期ウィトゲンシュタインにとってのそれは有限長のざらざらした曲線である。そして「もし仮にその曲線を「自然に」延長したならば、この領域もまた囲われることになるだろう」というポイントに、彼は必然性概念を定位したのである。「数学的命題はひとつの道を決定する」という彼の言葉は、おそらくこのようなことを意味している。

0928

 予測という課題も実際は分類なのだ、ということに気付いた。というか、(これは妙な表現なのだがとにかく僕にはそういうことがある)、以前気付いていたことがようやく腑に落ちた。つまりこういうことである。いかに物理学とはいえ、あらゆる意味で未来を予知することは出来ない。というのもその意味での予測とは宇宙そのものであるから。物理学にできるのは、「ある現象」のその先を予測することである。すなわちある現象がある現象であるときちんと分類できてはじめて、われわれは予測を行うことができるのだ。そして現象の分類は、時間というものをたんなるもう一つの奥行きと考えれば、結局は物体の分類と同じことである。違いがあるとすればそれは分類すべきデータが「見切れている」ことだろう。例えるならば、猫の上半身の写真を見て下半身の姿を推測すること、これが予測である。

 こう考えると、予測というタスクがむつかしい理由を説明できる気がする。要は教師データの問題なのだ。人間がつくる画像分類タスク用教師データは、分類すべき対象が画像の中心に見切れることなく写っている。これは人間が容易に対象を分類できるからだが、予測の場合はそうではない。人間には出来ないことを計算機にやらせるわけだから、一定の系列と直後の情報という人間が直接知りうる情報の中から、計算機は自分一人で「対象」を見出さねばならない。これは本質的に半教師あり学習であり、また、画像認識に例えるならば、教師データの中に大量の見切れた画像や意味をなさない画像が含まれていることを意味する。さらに予測機をじっさいに運用するとなると、きれいに切り取られたわけではない時系列データの中から兆候を発見する必要があるわけで、これは要はdetectionタスクである。難しくて当たり前だという気分になる。どうにかして解決したい。

 至極当たり前のことを書いた気がしてきた。

0926

 最近また鬱っぽくなっている気がする。突発的な面倒事にまったくと言っていいほど対処できない。不調の影響を最も受けにくいのがルーチンワークであるためなかなか気付かなかったけれども、これはなんらかの対処を考えたほうが良さそうだ。ぐえー。

 自分の文章表現に限界を感じて、ヒント探しにフラニーとズーイを少し再読した。よくもまあこんなにポンポンと比喩が浮かぶものだと感動する。そりゃあ修辞には凄い労力が払われているんだろうけれども、それにしても。「望遠鏡の反対側から覗いているような」とかね。今の僕には絶対に書けないと思う。ただ少し気付いたこともあって、たとえば「~なもの・こと」という文のもの・こと部分は隠喩ポイントなのかな、とか。一度時間をつくって念入りに研究してみたいと思う。

 そうだ、「研究」というのが出来るようになりたいと思っているのだった。自分で言うのもなんだけれど、僕は観察や洞察はちょっとうまい方だと思う。つまり思考における一歩の飛距離はそれなりにあるんだけれども、しかし向きや距離を修正しながらまっすぐ歩くことは不得手なのである。まずは自分のその一歩を詳しく分析できるようにならねばと思う。いまの自分は「違和感がある/ない」くらいでしか物事や思考を評価できていない。直交するチェックポイントを複数持つ必要がある。

 そろそろ履修を考えねばと思ってインターネットで学事日程を確認したら「履修登録期間:9月中旬」と書かれていて肝を冷やした。これまでは授業が開始してから履修登録が行われていたし、他学科の日程を見てもそんな感じで、そもそも具体的な日付がそこには書かれていなかったから、たぶん何かの間違いだろうと思って本郷まで掲示板を見に行くとやっぱり29日からだった。心臓に悪いのでこういうのやめて欲しい。そもそもうちの大学はweb周りの整備がかなり遅れていると思う。なにが足を引っ張っているのかいまいちよくわからないのだが、体質的なものなんだろうか。それともやっぱ予算の問題かしら。

 久しぶりに安田講堂横のクスノキの下でぼんやりした。僕の精神は場所と強く結びついているようで、ここに来るといつも穏やかで透明な気持ちになれる。こういう場所をもっと作りたいのだけれど、条件を満たすところは少ない。とくにその場所に行くために余計な気構えが要るようではダメなのである。自宅や大学、バイト先といった生活空間から、一歩脇道に逸れるくらいの気持ちで気軽に訪れることができる場所でなくてはならない。そういう空間はきわめて貴重である。

 ニューラルネットについて勉強していると、人間がやるようなデータベース的記憶がいったいどのように実現されているのか不思議に思う。NNの学習といえば、人間でいうところの「慣れ」に近いものであって、たとえば「何月何日に何があった」というようなエピソードや事実の記憶からは遠いように思われるのだ。もっと複雑になれば普通のNNでもそういう記憶ができるようになるのかというとそうは思えない。DeepMindがNeural Turing Machineという外部記憶を持つニューラルネットを開発していたけれど、海馬あたりがそういう役割を担っている可能性はある。あるいはデータベース的な記憶というのも実際はマルコフ過程であって、つまり情報と情報の連関が記憶されており(これは今のNNでも可能そうである)、ある刺激が芋づる式に情報をまとめ上げることによって事実が創作されているというのもありそうな話である。われわれの記憶はその都度つくられているという研究がどっかでされていたと思う。ただしそこにおける情報の関連度は、シチュエーションに応じて可変でなくてはならない。単純なマルコフ連鎖によるbotはただ確率に応じて文をつなげるが、その確率が隠れ層の状態に応じて変化せねばならないのである。RNNを使えばじっさいそういうことはやれるが、しかし何十年という長期に渡ってそれを行うためにはやはりなんらかの特殊な仕組みが要るのではないかというのが僕の想像である。本当のところは知らない。知っている人がいたら教えてください。

 自分は人に比べて聴覚記憶が弱いような気がしている。記憶の中を探しても、ほとんど音声的な記憶がない。いや、メロディや声質に対する記憶力はかなり良い方なので、これは音声言語の記憶に限った問題である。ちょっと不思議。ある種の時系列データを上手く学習できてないんだと思うけど、それは何故なのやら。小さい頃からやっていた音楽にその辺の能力を全部持っていかれたのかしらん。それにしては音楽的センスは鈍いんだけど。

0925

哲学

 論理定項がこの世界に実在するかという議論において、若きウィトゲンシュタインはラッセルに対し「この部屋にサイがいないことを証明せよ」と食ってかかったという。「否定」のような論理定項が実在するなら、それを見せてみろというわけである。結局ラッセルはウィトゲンシュタインを説得できなかったようで、論理哲学論考においては論理定項は「操作」という概念に回収されている。たとえば否定は、論理空間における意味領域の反転という風に。

 否定についての私見を言わせてもらえば、「サイがいる」という認識が許されるのであれば、たとえば「サイのいない部屋がある」だって同じく許されねばならないだろうと僕は思っている。どちらも同じく直観的認識であり、あるいはひとつの宣言である。無は有の裏などでは決してない。サイの存在という認識を生み出すのとまったく同じ働きが、サイの非存在をも生み出している(ように僕には見える)。「無意味」もまた積極的な観念であると自分が言うとき、念頭にあるのはこういう考えである。


 夕方、高校の部活の同期たちと食事をしました。相変わらず言葉の通りが良くて安心する(同時に自分は相変わらず頭の回転が遅いなとも思った。遅さゆえにできることもあるのだけど)。ここ数年会っていなかったにも関わらずそれがやれる相手というのは貴重だと思う。本当に久しぶりになにかを力説した気がしている。思うに、リズム良い反論が返ってくるというのが自分が心地よく会話できる条件なんでしょう。関西出身者の傾向だろうか。振り返ってみると東京に来てからも僕は関西出身の人間と好んで付き合っている気がする。あまり気にしたことなかったけど。

0924

哲学

 記号とは対象を代替するものではなく、むしろ人間を操縦するための特殊な刺激であると捉えたほうが筋が良い気がする(これも一つの喩えだが)。少なくとも「計算は予測をしないが、君は計算によって予測をすることができる」というウィトゲンシュタインの言葉の意図は、こう考えることでよりはっきりすると思う。

 たいていの認識は正当化を必要としない。目の前に林檎があることを証明する必要がないように。正当化が求められるのは、認識枠組みそれ自体の在りようが問題になる場合である。正当化はある体系においてなにかを示すものではなく、新しい視座を提示するものであると言いたい。それはたとえば、ネッカーキューブのある頂点を指差して「ここに注目すると下から見上げた立方体に見えるよ」と教えることに似ている。

0923

内省 機械学習

 DeepMindのsynthetic gradientsを試してみようと思っていたのだけど(weightの更新にbackwardを待たなくて良いのは魅力的である。しかし本当にうまくいくのか?)、Chainerで書くのは結構面倒そうだったので勉強がてら一から小さなニューラルネットを書いてみた。今のところReLU、Conv2D、Linear、Softmax関数が実装されていて、mnistの学習ができることは確認している。10時間ほどぶっ続けで作業したわりに進捗は微妙である。もっと精神を加速していきたい。

 目的は、細かい実験を手軽に行うために必要十分な枠組みを用意しておくことである。synthetic gradientsみたいな仕組みを試してみたり、妙なoptimizerを試してみたりといったことが楽にできればと思っている。たぶんTheanoやTensorFlowといった数値計算ライブラリを使えばもっと上手くやれるんだろうけれど、僕みたいに抽象化の苦手な人間は、全体を細部まで把握していないと何が起こっているのかよくわからなくなってしまうので。


 僕の行動原理は「違和感を解消する」ことただそれだけなんだな、と悟った。自分の描いた絵に対する違和感が僕に新しい絵を描かせるし、文章も同じ。哲学的なことを考えるのも、我々のあらゆる表現形式が「私と他者の非対称性」を表現できないことに違和感を覚えていたからだ。もちろん違和感を解消することは人間の一般的動機のひとつであると思う。けれども自分はどうも、それ一本に依存しすぎているきらいがある。直接的に気にならないことが心底どうでもよいのだ。それゆえ僕は一から新しい概念を習得するということが出来ない。知らないことについては気になりようがないからだ。ただしある違和感を解消する過程において必要となった場合には、未知の概念もわりと楽に習得できる。ただしたんなる道具として。たいていの場合、その理論的背景に興味が及ぶことはない。それが十全に機能している限り、そこに違和感はないのだ。で、こういう人間はいったいどうやって人生をやってゆけばいいのだろうかと考えていた。たぶん適切な違和感と足がかりが与えられ続ければ、再発明するという形で僕は学ぶことができると思う。そうした分野が既にあると知る前から、心の哲学における幾つかの概念を知っていたように。ただしそれはあまり効率的なやり方ではないし、半ば博打のようなものである。違和感を持てない対象に対する僕の学習能力は、おそらく軽い学習障害のレベルにある。なんとかしたいとずっと思っている。しかし諦めたほうがいいのかもしれない。

0917

お絵描き 哲学 機械学習

 自分の気持ちというのもまた一つの言語ゲームである。気持ちに実体などない。生活の各場面において気持ちとして扱われる"表現"こそが気持ちの実態なのであって、その背後に本当の気持ちが控えているというわけではないのである。我々が自分自身を観察したとき、自身の行為や情動の背景に推察される「本質」という幻想が、自分の気持ちの正体だ。それは実在しない、ただ見出されているもの、ただそう書けただけのものにすぎない。自分の気持ちを知るということは、つまり内観とは、自分を(ある意味他人事のように)解釈することだ。そしてその解釈が「自分の気持ち」として機能する条件とは、それが自分の気持であると言ってみて(自身も含めて)誰も違和感を覚えないこと、ただそれだけである。脳の内部でどのような計算が行われているかなどはとくに関係がない。摩擦なく気持ちの言語ゲームに参加できていること、それだけが気持ちが気持ちであるための条件なのである。ただしそのゲームに参加するためには、ゲームに適応的なかたちで自分を解釈するためには、一定の訓練が必要である。それをきちんと修了しないと「自分の気持ちがわからない」ということになってしまう。何を書く”べき”かを知らないうちは読書感想文をうまく書けないのと同じく、自分の気持ちを表現する仕方を知らないうちは、そもそも自分に「気持ち」などないのだ。

 だから「本物のエゴ」というのも結局、そのようにみえるものという以上のものではなく、偽物のエゴとの間に境界線を引けるようなものではないということになる。前に書いたけれども、「好きにしろ」というのは「好きにしているふうに行為せよ」という規範の押しつけなのだ。で、この「主体性」という規範は、これはただの想像なんだけどたぶん人類の身体的構造とか人類黎明期の集団の形態とかに適応的な行動規範なんだと思う。それがここまで複雑になってしまった人類社会において通用するかというと、ちょっと疑問だ。サリンジャーの言うようにたしかに今の世界はいやらしいかもしれないけれども、でも誰もが「主体的」に行動するようになったら、地球はもたないかもしれない。みみっちくていやらしい最適化が、肥大した社会をなんとか持ちこたえさせているのかもしれない。僕の美的感覚に従えば、そうまでして世界に維持される必要はあるのか、いっそこのあたりで潔く散っておくべきなのではという気分にもなるのだけれど、これもただ主観的な美意識の問題にすぎない。たんに僕が社会のいやらしさを美的なものとして感じられるようなればそれで済む話である。じっさい多くの人たちは、僕がつまらないもの、いやらしいものと感じる物事のあり方を、素晴らしいものとして扱っている。その間に優劣などない。むしろ社会進化の過程を考えれば、彼らのほうが僕よりずっと進歩的な人間だとも言えるのである。僕も進歩すべきなのだろうか。しかしどうやって?


 理解とは、与えられた感覚入力に対して適当な行動を決定できるよう、世界の構造を推定することだと思う。しかし一般にその推定はきわめて困難であって、その困難への一つの対処法が言語である、と思う。たぶん生物は外界が単純な確率分布の混合でできていると仮定していて(あるいはそれが”単純”の意味である)、そこで外界を理解することはその要素となる成分を抜き出すことになるわけだけれども、それには計算量的な限界がある。だから動物は危険な外敵や美味しい食料を見出すことはできても、宇宙の原理や自己の本質に思いを馳せたりはしない。というのも彼らにとってそれらはノイズでしかないのだ。一方で人類は、あるときは単純なものとして扱った分布をさらに要素に分解したり、あるいは複合的な分布をより単純なものとみなしてより複雑なものを考えたりする。それが可能になっているのは、言語がある意味で「フラット」であることによる、と思う。音の連なりや視覚的記号として考えたとき、「宇宙」も「ねこ」も同じくひとつの単語なのであって、そこにおいて宇宙とねこは対等である。一度言葉にしてしまうことで、スケールの問題を無視してしまうことができるし、ある領域で用いた方法を別の領域に転移することも容易になるのだ。たぶん動物にはこういうことはできない。という妄想。(参考:http://mogami.in.coocan.jp/diary/d0811.html#271


理不尽にやると上手くいく - レジデント初期研修用資料

 社会の信頼性が上がれば上がるほどギリギリのラインを攻めることが容易になるという指摘を読んで「たしかに」と思った。エゴの話とも通じるかもしれない。


 MSCOCOは結局AP=0.13くらいしか出なかったのでsubmitを諦めた。敗因としては、1.指定された評価方法でモデルを評価してみるのが遅れた、2.大規模NNの学習経験不足、3.一般的なアルゴリズムに対する知識不足、4.細部が雑だった、5.先行研究の把握が足りてない、6.計算力不足、などが挙げられると思う。生成されたinstance maskの見た目はまあまあだったんだけれどね。ちょっと悔しい。

f:id:Raprto:20160917203115p:plain

f:id:Raprto:20160917203102p:plain

f:id:Raprto:20160917203107p:plain

f:id:Raprto:20160917203110p:plain


 らくがき。屋久島に行きたい気持ちがある。

f:id:Raprto:20160918045848p:plain