小脳の計算機構の完全理解とその応用を目指して
http://www.jnns.org/20/yamazaki.pdf

日本神経回路学会の記念論文のひとつです。読みました。LSMについて勉強してみようかと思います。

多項式カーネルを使っていたのですが、優ガウスの場合にはシグモイドカーネルを使うほうがよいらしく、カーネル関数にtanhを使うようにしたのがよかったです。

g(y) = tanh(y)

に変更して、学習係数を1.0e-4から1.0e-2にしました。
いままでバタついていたのが、嘘のように静まりました。

また、毎回のWの更新後に、行列演算により正規直交化をしていなかったという痛恨のミスもあり、これを入れたところ、うまく収束するようになりました。

▲学習中の様子です。

今回はアニメのセル画っぽい画像からのパッチを使用しました。(森林の画像の場合、コントラストが悪く、初期のランダムなWからの収束が悪いかったです) 5,000枚から生成しています。PCAによる白色化をせず、生データを使っています。

位相や位置、方向、周波数に局所的な基底に分解されはじめているのが見えます。また、周波数の低い基底のまわりにトポロジが若干見えていると思います。それぞれの基底にまだ従属性がかなり残っているのと、マップが狭いので見えずらくなっています。

--

追記。 もう少し規模を拡大して実行してみました。

Core2Duo 2.2GHz の1CPUで8時間実行した結果です。まだまだ位置の局所成分が従属しています。これを綺麗にするには、あとサンプルを1万パッチにして、2,3日放っておかないと駄目そうです。すごい計算量ですね。

論文を読みながら自分のSOM実装に拡張する形で組んでみたけれど、どうにもうまく基底ベクトルを学習してくれない。どうしたものだろう。

この結果については次の通り。10x8の80ユニットを2次元に並べて、それぞれが16x16ピクセル(256次元の基底ベクトル)を持っている。学習係数は0.2、半径は3.0ユニット。更新のための非線形関数gは以下の通り。

g(y) = -1.0 * Math.sqrt( 0.0001 + energy ) + 1.0

元の画像は以下の森林の画像。 16x16のパッチを10024個取り出している。もちろん、グレースケール。平均値を差し引いているので直流(DC)成分は打ち消してある。

面倒だからPCAで白色化していないのが一番問題な気がしているけれど、それにしてもマップっぽく順序付けもされていなさそう。

このとき、異なるレベルだけでなく、同一レベル内でも計算のフィードバックを得る。がしかし、これは往々にして抑制系である、と考えるべきらしい。

これを聞いて、2つのSOMを用いた独立成分分析が可能である話に似ているなあと感じた。

勉強不足甚だしい自分ですが、読んでいると非常に面白いです。

チョムスキーの生成文法の否定と、単一の神経計算系による知性の獲得が述べられています。また、小脳・大脳基底核に及んで、思考や意思決定の高次処理が行われているという点も述べられています。

小脳なんて、発生的には古くて、身体の運動ぐらいの関与かと思い込んでいたのですが、どうやらそういう話ではなさそうです。

乳幼児の発話・調話の際に、運動系も絡んでいる、という論文をどこかで読んだ気がするのですが、まさに知性とは運動とは切っても切り離せないのかもしれません。

とすれば、何らかの神経計算系の単一なモデルにより知性が実現されるとしたら、そのモデルはあらゆる、たとえば身体的な運動、思考など、どんな処理も実現可能になるのだと思います。

また、この記事では、旧来型の記号論的、シンボルを前提にした言語処理について完全否定しています。これについては、自分も納得できます。（というか、そもそもの目指す知性についての定義が微妙にズレているような気がしなくもないのですが。）たとえば、神経計算系のモデルに基づいたprologなんていうのは、面白いかもしれませんね。

強化学習と、SOMによる独立成分分析を、目下の勉強材料にしたいと思います。

SOMの新しいバージョンの一つである。GTMは1996年にBishop, Svensen, Williamsの論文中で初めて発表された。GTMは確率モデルであり、おそらく収束する。また、近傍半径の収縮や学習係数の減少を必要としない。

GTMは生成モデルである。入力データを「まず低次元空間側で確率的に点を選び、それを観測された高次元入力データの空間上の点に滑らかな関数で写像した後でノイズを加えたもの」と仮定する。低次元側の確率分布、滑らかな関数、そして高次元側でのノイズのパラメータは全てEMアルゴリズムによって入力データから学習される。

SOMは高次元のベクトルを低次元にマップする、という話が多いのですが、脳は低次元入力をなんらかの情報を含めて高次元にマップするフェイズがあると仮定すれば、SOMの競合層と入力層をひっくり返したような話がないかな、と考えていました。

Wikipediaの話からだけでは詳しくはわかりませんが、GTMの発想は低次元側、つまり競合層側からの視点がありそうです。EMアルゴリズムもまた勉強しなくては。

ただ、GTMはSOMの持つ機能を工学的に扱いやすく解釈したもので、あまり本質的な違いはなさそうな印象ですが、果たしてどうなんでしょうか。

最近、いろいろと調べて知った言葉や内容は以下。

• ニューラルネットワーク（多層パーセプトロンとバックプロパゲーション）
• 自己組織化マップ
• 大脳皮質は６層構造であること

低次元の入力が大脳皮質・領野を通じて高次に処理されるイメージはなんとなく掴むことができた気がします。

人間を観察すると、入力だけでなく、出力もおそらく低次元なんだと思います。高々制御できるアクチュエータは有限個（典型的に、体の色々な筋肉）なはずです。つまり、入力から出力までの情報の流れの中で、低次元⇒高次元⇒低次元、という処理が行われているという考えです。

なぜいったん高次元になるかについては、過去の経験や脳の状態を加味するからか、もしれかしたら脳の汎化能力にもその理由があるかもしれませんね。

ところで、SOMの持つ自己組織化の特長は、とても面白いと思っています。脳の情報処理に、大いに関連あるんじゃないでしょうか。最近、コホネンの著書「自己組織化マップ」を購入しました。日本語訳があまりに直訳で読みづらいけれど、足りない知識でノロノロと読んでます。新たな知見が得られそうです。

このブログは、人工知能の実現をライフワークとした私の個人的な考えや成果を残していくために開設しました。

以下、このブログに関連するキーワードです。

• 脳神経情報学
• 機械学習
• 人工知能
• 人工生命
• サル
• 人間

ライフワークですので、死ぬまでゆっくりやるつもりです。