T.コホネンの本のほか、いくつかの本を買いました。
2008年12月アーカイブ
先日、一次視覚情報をMRIにより再構成したというニュースで話題のATRですが、ATR川上氏らによるヒト知性の計算神経科学 連載第一回 言語に迫るための条件 を読んでいます。
勉強不足甚だしい自分ですが、読んでいると非常に面白いです。
チョムスキーの生成文法の否定と、単一の神経計算系による知性の獲得が述べられています。また、小脳・大脳基底核に及んで、思考や意思決定の高次処理が行われているという点も述べられています。
小脳なんて、発生的には古くて、身体の運動ぐらいの関与かと思い込んでいたのですが、どうやらそういう話ではなさそうです。
乳幼児の発話・調話の際に、運動系も絡んでいる、という論文をどこかで読んだ気がするのですが、まさに知性とは運動とは切っても切り離せないのかもしれません。
とすれば、何らかの神経計算系の単一なモデルにより知性が実現されるとしたら、そのモデルはあらゆる、たとえば身体的な運動、思考など、どんな処理も実現可能になるのだと思います。
また、この記事では、旧来型の記号論的、シンボルを前提にした言語処理について完全否定しています。これについては、自分も納得できます。（というか、そもそもの目指す知性についての定義が微妙にズレているような気がしなくもないのですが。）たとえば、神経計算系のモデルに基づいたprologなんていうのは、面白いかもしれませんね。
強化学習と、SOMによる独立成分分析を、目下の勉強材料にしたいと思います。
以下、Wikipediaより引用.
SOMの新しいバージョンの一つである。GTMは1996年にBishop, Svensen, Williamsの論文中で初めて発表された。GTMは確率モデルであり、おそらく収束する。また、近傍半径の収縮や学習係数の減少を必要としない。
GTMは生成モデルである。入力データを「まず低次元空間側で確率的に点を選び、それを観測された高次元入力データの空間上の点に滑らかな関数で写像した後でノイズを加えたもの」と仮定する。低次元側の確率分布、滑らかな関数、そして高次元側でのノイズのパラメータは全てEMアルゴリズムによって入力データから学習される。
SOMは高次元のベクトルを低次元にマップする、という話が多いのですが、脳は低次元入力をなんらかの情報を含めて高次元にマップするフェイズがあると仮定すれば、SOMの競合層と入力層をひっくり返したような話がないかな、と考えていました。
Wikipediaの話からだけでは詳しくはわかりませんが、GTMの発想は低次元側、つまり競合層側からの視点がありそうです。EMアルゴリズムもまた勉強しなくては。
ただ、GTMはSOMの持つ機能を工学的に扱いやすく解釈したもので、あまり本質的な違いはなさそうな印象ですが、果たしてどうなんでしょうか。
脳科学のブログと言うものの、私は情報科学側の人間で、しかも大学院までの専攻はヒューマンコンピュータインタラクションなどの応用研究だったため、脳神経の知見についてはほとんどありません。なので、このブログにある記事の価値についてはまったくの保証もないし、それを参考にすることもお勧めすることはできないので、ご留意ください。
最近、いろいろと調べて知った言葉や内容は以下。
- ニューラルネットワーク（多層パーセプトロンとバックプロパゲーション）
- 自己組織化マップ
- 大脳皮質は６層構造であること
低次元の入力が大脳皮質・領野を通じて高次に処理されるイメージはなんとなく掴むことができた気がします。
人間を観察すると、入力だけでなく、出力もおそらく低次元なんだと思います。高々制御できるアクチュエータは有限個（典型的に、体の色々な筋肉）なはずです。つまり、入力から出力までの情報の流れの中で、低次元⇒高次元⇒低次元、という処理が行われているという考えです。
なぜいったん高次元になるかについては、過去の経験や脳の状態を加味するからか、もしれかしたら脳の汎化能力にもその理由があるかもしれませんね。
ところで、SOMの持つ自己組織化の特長は、とても面白いと思っています。脳の情報処理に、大いに関連あるんじゃないでしょうか。最近、コホネンの著書「自己組織化マップ」を購入しました。日本語訳があまりに直訳で読みづらいけれど、足りない知識でノロノロと読んでます。新たな知見が得られそうです。
前々からこういうブログを作りたいと思っていたのですが、いいタイミングなので。
このブログは、人工知能の実現をライフワークとした私の個人的な考えや成果を残していくために開設しました。
以下、このブログに関連するキーワードです。
- 脳神経情報学
- 機械学習
- 人工知能
- 人工生命
- サル
- 人間
ライフワークですので、死ぬまでゆっくりやるつもりです。
