‘99年度森泰吉郎記念研究振興基金報告書

カオス性を含んだシステムによる高度なパターン認識の実現

慶応義塾大学　政策・メディア研究科

福原　義久

fuku@sfc.keio.ac.jp

前年度に引き続き、カオスダイナミズムを用いたニューラルネットワークの情報処理に対する有効性を追い求めている。

今年度の成果として、修士論文となったMulti-layered associative memory using chaotic neural networksと最近の成果であるカオスダイナミクスを用いた、階層型ニューラルネットによる重なったパターンの認識について簡単に述べる。

1. Multi-layered associative memory using chaotic neural networks

概要：

ケイオスのダイナミクスを取り入れたニューラルネットワークを用いた階層型ケイオス連想メモリを作成した。

人間の想起過程では、特定のものを想起するに必要な情報が得られない場合には選択肢を絞り関係のあるものを次々と想起しながら新たな情報の取得を待つ。

いわば「迷い」とでも表現できるこのような動的で柔軟な想起過程を、ケイオスの働きを取り入れた複数の動的連想メモリを相互作用させることにより実現した。

また、相互作用させるメモリを階層構造にすることにより、より複雑な関係性を扱えるようなモデルを作成した。なお、この成果は修士論文として提出した。

システム構造：

カオスニューロンモデルは生体のニューロンの働きを従来のものよりも、より詳しく模して作られたニューロンモデルである。カオスニューロンは、それ自身が持つカオスダイナミクスにより複雑で不安定な応答を示す。

この特徴は最適な解を安定して求めるような情報処理には一般的に向いていないと感じられるが、一方で人間の持つ曖昧さや柔軟な情報処理に近しいものが作れる可能性を秘めている。

このカオスニューロンの振る舞いを利用した動的連想メモリを相互に作用させることにより、1対多の想起を行うことができるメモリ（MCAM）を先年作成した（図１：左）。

今年度は、図１：右に示したようにMCAMを階層型に連結することにより、階層構造を含む複雑な関係性を含んだパターン認識を行うことが可能にした。

図 1　左：MCAMの構造　右：MCAMの階層化

動作：

動作例として、図2に示したように様々なパターンを階層型に関係付けた。左端のパターンXは最終的にI、II、IIIの３つのパターンの組み合わせと関係付けられていることを示す。

このシステムに左端Xだけの入力を与えると、システムは時系列に沿って、II→I→II→III・・・と出力を遷移させた。これは、Xという部分的な情報から関係性のある情報を引き出していることを意味しており、階層構造を含む複雑な関係性においても状態を遷移させることができることを示している。

図 2　記憶させたパターンの関係

なお動作式等についての詳しい情報は修士論文「Multi-layered associative memory using chaotic neural networks」を参照のこと。

２．カオスダイナミクスを用いた階層型ニューラルネットによる重なったパターンの認識

概要：

ニューラルネットのパターン認識において一般的な学習法であるバックプロパゲーションを用い学習させたネットワークの素子をカオスニューロンに置き換えることにより、重なったパターンを別々に識別することを可能とした。

通常、階層型ニューラルネットワークは学習方法のいかんにかかわらず、重なったオブジェクトを別々に認識することは困難な課題であった。

本モデルは、既存の学習技術を利用し効果的に重なったオブジェクトを識別することが出来るのが特徴である。

システム：

従来のニューロンモデルで構成された階層型ニューラルネットワークにバックプロパゲーション技法を用いていくつかのパターンを記憶させる。

記憶後、ネットワークの素子を弱いカオス性を示すカオスニューロンに置き換え、ある程度のステップ数の連続的な出力を記録する。

出力結果を統計的に集計することにより。重なったパターンを入力値として与えた場合でも、それを判別することが可能である。

動作：

例として入力層100、中間層10、出力層3の階層型ニューラルネットワークに図3のような3つのパターンをバックプロパゲーションを用い記憶させた。記憶後、中間層と出力層の素子をカオスニューロンに置き換えた。

図 3　記憶させたパターン

実験１：

パターン３に相当する情報を入力値として与えると、完全に正しい答えを出力する。ノイズが混じった場合でも良好な出力を示す（図4：左）。

図4：右は出力層のニューロンの発火状態を時系列で観察したものである。

図 4　重なっていなパターンの処理

実験２：

パターン１と２の混じった情報を与えた場合、図5に示したとおり、それぞれのパターンを交互に50ステップづつ指し示し、非常に良好な結果を示している。

図 5　重なったパターンの処理

異なる大きさのネットワークやパターン数でも動作を確認しており、画像認識や音声認識での利用が期待される。

なお、本研究についての論文を現在執筆中であり、今夏行われる国際学会、The 2000 International Conference on Artificial Intelligence(IC-AI'2000)で発表予定である。