|
平藤です。
Kauhiro Iida-san wrote:
>．既存の研究を間接度とか，伝達される情報の複雑さの指標に
>ついて眺め直してみるとのがてっとりばやいかもしれません．
>例えば，人工生命ででてくるハイパーサイクル間の競争とか．．
>KauffmanのNKシステムとか．．．
>平藤さん> 汎化能力評価のための学習サンプルは非常に意地悪
>>な問題のため３層のネットワークでもめったに学習に成功し
>>ないんですが，もし大きな階層数で学習に成功できれば，汎化
>>能力が高くなるかどうかの確認もできます。
>
>飯田：
>中間層が２層ある多層型NNは，ほぼ全ての連続関数を良い精度で
>近似できるという証明の論文があります．
「中間層が２層ある多層型NNは，ほぼ全ての連続関数を良い精度
で近似できる」という潜在能力がありながら，５層とか６層に
なって来ると適切なNNをBP(Back Propagation)で見つけだすこと
がなかなかできないのです。
例えば，当時ATRのグループが砂時計型NN（６層程度の多階層NNの
第４層あたりの中間層のユニット数を２，３個にしたもの）を使
うと絞られた中間層のユニットに高度に汎化された概念が抽出さ
れるというおもしろい結果を出していましたが，彼らも「滅多に
学習に成功しない」といっていました（アプリケーションでは至
る所でBPモデルの限界が認識されていた訳です）。
KauffmanのNKシステムもしかりで，「高い自由度（間接度）のシ
ステムが持つ膨大な選択肢のなかから妥当な時間内で最適解を見
い出す」という問題が残されたままのように思われます。ＧＡで
そこそこに使える局所最適解がたくさんあるのでそれで十分！と
いう言い訳的解釈では，「生命の起源」のような現象を考えてい
る研究者は納得しがたいんじゃないでしょうか。
実は僕も最初は，局所最適解でも”経験的”には十分！と感じて
ました。ところが，環境制御下での植物実験や種々雑多な現実的
問題に取り組んでいるうちにだんだん”経験的”に不十分！と感
じるようになりました。
あるモデルが出ると期待感でフィーバーし，やがて冷めてゆく，
といういつものサイクルからいうと，GA（KauffmanのNKシステ
ム）は３年前のA-Life V（奈良で開催された会議）の時点で既に
冷却段階に入っていたという印象を受けました。
Masayuki HIRAFUJI (hirafuji@***.***)
Computational Modeling Lab.(http://model.narc.affrc.go.jp/)
NARC Tukuba 305-8666 Japan
Phone:+81-298-38-8986 FAX:+81-298-38-8551
----- |
|
|
