|
平藤です。
Kauhiro Iida-san wrote:
>
>飯田：
>すくなくとも次の３つの特徴があると思います．
>
>１．冗長さに起因するロバストネス
>翻訳系で顕著ですが，産物Aに対してその前段階に複数のコード（あるいは分
>子）が対応している場合，一つのコードが失われてもAの生産はストップしま
>せん．
>
>２．ケチの原理
>産物Aよりも優れた産物Bの発明と生産を，産物Aの生産工程をほぼそのまま
>使って実
>現できます．ゼロからのスタートでＢをつくるよりも時間が省けます．
>
>３．それから，平藤さんご指摘の情報の方向づけ
>間接度の高い反応段階では，情報の流れに方向性が生じる可能性がありま
>す．
よく考えてみると，「間接度が高いほど有利」というのは非常におもしろい問
題です。現実の現象でどういう条件で高い関節度が有利となるかを調べ一般化
できれば，応用範囲は意外と広いと思います。
たとえば，日本伝統の下請け制度は創意工夫の点で優れている！ということに
もなるでしょう。また，最近の長期不況で日本型経営に自信をなくした経営者
は欧米方式を取り入れて中間管理職を無くしてますが，条件によっては「イノ
ベーションには間接度が高い日本型経営の方が良い」などという評価になるか
もしれません。
最近，進化経済学会ができましたが，もし一般化できれば経済学へのインパク
トもありそうです。
もう一つ。バックプロパゲーションアルゴリズムが出たばかりの頃の古い話な
んですが，階層型ニューラルネットの構造やユニット数の最適モデル選択問題
に直面し，ユニット数が同じならば層数を増やした方が（すなわち間接度を上
げる方が）汎化能力が高くなると考えて，いろいろチャレンジしてました。
階層数を増やすと誤差信号の逆伝搬が途中で減衰してしまい学習がなかなか進
みまないという問題がありました。そこで，誤差信号を強引に増幅する機能を
付けて見たんですが，シナプス荷重が不安定になり，結局，学習は進みません
でした。
飯田さんご指摘の上の３つの特徴やその他の特徴を掘り下げると，バックプロ
パゲーションよりも優れた学習アルゴリズムの開発のヒントになるかもしれま
せん。
汎化能力評価のための学習サンプルは非常に意地悪な問題のため３層のネット
ワークでもめったに学習に成功しないんですが，もし大きな階層数で学習に成
功できれば，汎化能力が高くなるかどうかの確認もできます。
Masayuki HIRAFUJI (hirafuji@***.***)
Computational Modeling Lab.(http://model.narc.affrc.go.jp/)
NARC Tukuba 305-8666 Japan
Phone:+81-298-38-8986 FAX:+81-298-38-8551
----- |
|
|