慶應義塾大学　政策・メディア研究科　博士課程1年　福原　義久

＜森基金研究成果報告＞

カオス性ないしは確率性を含んだシステムによる高度なパターン処理モデルの作成

fuku@sfc.keio.ac.jp

概要

パターン認識は画像認識や音声認識技術の基礎となる技術である。パターン認識のための手法は特に生物の脳の構造を模倣した人工ニューラルネットワークの分野で発展をとげてきた。しかしいまだその性能は人間の行う認識処理に遠く及ばない。本研究では、既存のモデルではあまり用いられることのなかったカオスの働きをニューラルネットワークに取り入れたモデルを用いることにより、より高度で複雑なパターン処理を可能とした。また、計算コストのさらなる低減のために、確率発火モデルを用いたニューロン素子を用いて同様の成果を得られることを確認した。本研究により、複数音声の同時認識や動画像からの画像認識といった既存のモデルでは高い計算コストを要する問題を高速に且つ高精度に処理できるようになる。

1. 背景

パターン認識技術は音声や画像データが大量に流通する現代においては必須の技術である。我々が取り扱わなければならないパターンは郵便番号のような簡単な記号から、指紋や音声、暗号といった非常に複雑なものへと急速に発展している。特に画像認識や音声認識といった、複雑かつ不安定な入力値を扱う場合には高度なアルゴリズムと高い計算コストが要求される。自然界からの情報には例えば欠落や重複といった様様な種類のエラーやノイズが含まれている。これらに対処するために、ある入力値に対しエラーやノイズを除去し、それがどのパターンであるかを特定する技術としてパーセプトロン[1]や連想記憶メモリ[2]など様様なものが開発されている。

これらの技術では入力値に対して一つの解を得ることができるが、パターンが複数重複しているような場合にそれぞれを独立して識別することはいまだ困難な課題である。この問題の解決のためにChoとReggiaはバックプロパゲーションを基にcompetitive and cooperative process[3]を提案している。Cohen とGrossberg　はマスキングを用いた重複パターンの分離手法を提案している[4]。また、Nigrin はニューラルネットワークを用いたモデルとしてSONNET[5]を提案している。BasakらはX-tronと呼ばれる3層のニューラルシステムを提案している[6]。しかしながら、これら既存のモデルは複雑な仕組みを持ち高い計算コストを要求するにもかかわらず多くのパターンの重複は処理できない、ノイズに対して非常に弱いなどといった欠陥がみられる。

本研究では生物の脳の構造を模倣した人工ニューラルネットワークに素子としてカオスニューロンモデルと確率発火モデルの2つのモデルを用いたアプリケーションを作成しこれらの課題を克服した。提案モデルは、ニューラルネットワークにおけるパターン認識では古典的なモデルであるバックプロパゲーション学習を3層のニューラルネットワークに適用するだけで、重複パターンに分離という複雑な情報処理を実現している。

カオスニューロンを用いた重複パターン処理については、情報処理学会論文誌への掲載が決定している。また、確率モデルを用いたパターン処理については、今夏行われるIPMM-2001国際学会での発表が決定している。

2. 手法

提案モデルはニューラルネットワークでパターン処理を行うための古典的手法であるバックプロパゲーション技法を用いて学習を行う。パターンの学習過程においては、ニューロン素子として古典的なシグモイド関数を用い学習を行い、学習後のネットワークのニューロン素子をカオスニューロンモデルないしは確率発火モデルに置き換える。本章では特にカオスニューロンを用いた手法について論じる。

2.1. バックプロパゲーション

バックプロパゲーションはRumelhartによって提案されたニューラルネットに対する教師付き学習法である[7,8]。出力と教師信号との誤差を学習により小さくしていくことによりパターン識別を可能とする。出力と教師信号との誤差は式(1)によって示される。Tは教師信号でOは出力である。またj番目のニューロンとi番目のニューロンとの結合は式(2)によって更新される。

(1)

(2)

2.2.　カオスニューラルネットワーク

ニューロンの生理学的特性を模倣して合原らはカオスニューロンモデルとそれを用いたネットワークであるカオスニューラルネットワークを提案している[9,10]。

カオスニューラルネットワークの動作式は式3および4によって示される。ここで、は時間におけるニューロンiの出力である。Mは入力値の数、Nはニューロンの数である。はt時におけるj番目の入力値である。Vij はからニューロンiへの重みである。 Wij はニューロンIからニューロンj への重みである。また、およびはそれぞれ不応性をコントロールするパラメータと閾値である。 ,, およびはそれぞれ外部入力項に対する時間減衰定数、フィードバック入力項に対する時間減衰定数、不応性の時間減衰定数である。式(4) はシグモイド関数であり、はシグモイド曲線の傾きを決定する。

(3)

(4)

合原らは式(3)をもとに式(5)を提案している。合原らは連想記憶メモリにこのモデルを適用しているが、提案手法ではこれを階層型ニューラルネットワークに適用した。

ここで、項はニューロンiにおける不応性に関する内部状態項であり、項はニューロンiにおける他ニューロンからのフィードバックに関する内部状態項である。または外部入力と閾値をまとめたものである。

(5)

また、カオスニューロンの出力はアナログ値であるので、出力層のニューロンの出力は式6に基づいて処理する。

(6)

2.3.　学習と認識

提案モデルは図１に示したような2層のニューラルネットから成っている。

パターンの学習はバックプロパゲーション学習を用いて行う。この際ニューロン素子は式４に示したシグモイド関数を用いる。

パターンの想起を行う際に、この素子をカオスニューロンと取り替える。カオスシステムの持つ不安定性を取り込むことにより、重複パターンの分離といった複雑な処理を可能とする。

図1：ニューロン素子の交換

2.4.　カオスニューロンの最適化

カオスニューロンの動作はそのパラメータによって大きく左右される。

カオスニューロンの動作特性を決定するパラメータを適切なものに設定することにより、重なったパターンを分離するという特殊な能力を付加することができる。本研究では適切なパラメータをGA（遺伝的アルゴリズム）[11]を用いて探索した（表1）。

表1：カオスニューロンのパラメータ

3.　シミュレーション

提案モデルの有効性を示すため、入力層400ニューロン、中間層40ニューロン、出力層4のニューロンから成るネットワークに図2に示したパターンを学習させた。学習は学習誤差E<0．002に達するまで行い、連続した100回の出力を集計した。

図2：記憶パターン

3.1.　2つのパターンの重複

パターン２と４を重ねたものを提案システムに入力した結果を表2および図3示す。

表2から分かるとおり、ノイズが含まれた状態でも提案システムは極めて高い精度で2つのパターンを分離している。

図3は出力層のニューロンの出力を時系列で示したものであるが、パターン2および3を示すニューロンが交互に発火していることがわかる。

表2：2つの重複パターンの分離

図3：出力層の状態

4.2.　3つのパターンの重複

パターン2および3，4を重ねたものにノイズを加えたものを入力値として与えた。このような極めて劣悪な条件からでも提案システムから有効な解を得られることを表3および図4が示している。

表3：3つの重複パターンの分離

図4：出力層の状態

4.2.　4つのパターンの分離

図5に示したような5つのパターンで同様の実験を行った。

図6および表4はパターン1，3，4，5を重ねたものに10％のノイズを加えたもので実験した結果である。提案システムはこのような非常に複雑な入力でも誤り無しに処理している。

図5：記憶パターン

表4：4つの重複パターンの分離

図6：出力層の状態

5. 考察

実験結果は、提案システムがノイズに影響されにくく、しかも2つ以上の複数のパターンが重なっている場合でも的確に分離できることを示している。本章では、ノイズに対する耐性と計算コストについての結果を述べる。

5.1. ノイズに対する耐性

図7は前述の実験と同じ環境で、入力値として単一のパターンを与え、ノイズを増やしていった場合の出力層ニューロンの発火率である。通常のシグモイド関数を用いたネットワークより良い成果を残していることが分かる。この点から単一のパターン認識においても従来よりも高い精度を持つ可能性を確認できた。

図8は2つのパターンが重複している場合の提案システムの出力である。ノイズが30％も含まれた状態でも的確な解を出力していることが理解できる。

図7：ノイズに対する耐性（単一パターン入力）

図8：ノイズに対する耐性（2重複パターン入力）

5.2. 計算コスト

表5に示した実験環境でシミュレーションを行った。

表5：計算機環境

CPU	Pentium II 400Mhz
Memory	128MB
Operating System	Windows NT
Development Language	Borland Delphi 4.0

表6は学習と認識の計算速度を2つのことなる大きさのネットワークで検証した結果である。この実験では、学習は学習誤差E < 0.002の時点まで行い、連続した30回の出力を得るための時間を計測した。提案システムは400入力のネットワークで30ms以下という非常に高速な処理が可能である。

表6：計算コスト

Network

Configuration

Learning

Speed

Segmentation

Speed

(30 times)

Input : 100 neurons

Hidden: 10 neurons

Output : 3 neurons

390 msec

3 msec

or below

Input : 400 neurons

Hidden: 20 neurons

Output : 4 neurons

2954msec

27 msec

6．結論

提案モデルは、カオスニューロンの持つ不安定性を利用することにより、重複パターンの分離を的確かつ高速に行うことができる。特に高い耐ノイズ性を保ちながら多数の重複パターンを一度に分離する能力は従来技術とまったく次元を異にするものである。また、複雑な構造を持つ既存手法に比べて提案手法は古典的な学習手法であるバックプロパゲーションと単純な3層のネットワークから成る単純な構造のため他システムへの組み込みや改変が容易であると考えられる。本研究は昨年11月に情報処理学会論文誌に論文として採録されることが決定している。

7.　確率発火モデルを用いたパターン認識

上記の実験では認識時にカオスニューロンを用いることにより、重複パターンの分離を可能とした。さらなる計算コストの低減と高速化のために、確率発火モデルをカオスニューロンの代替物として利用する手法を現在研究中である。確率発火モデルとは、ニューロン素子の出力がニューロンの発火の確率として扱われるモデルである。ボルツマンマシンなどの古典的なアプリケーションにも用いられている手法である。

提案手法では学習時にシグモイド関数を用いるが、この段階ではニューロンの発火は関数の出力値をそのまま利用する。想起の段階でシグモイド関数の出力値を統計的に扱うことにより、カオスニューロンを用いた手法に近い成果を計算コストの大幅な削減とともに得られることを確認している。

本研究の成果は今夏行われるIPMM-2001国際学会にて発表される。

参考文献

[1] Minsky,M and Papert,S, “Perceptrons”, MIT Press, 1969

[2] J.J.Hopfield, “Neural Networks and Physical Systems with Emergent Collective Computational Abilities”, Proc. Of National Academy of Science, U.S.A., 79, pp.2445-2558, 1982

[3] S.Cho and J.Reggia, “Learning competition and cooperation”, Neural Computa., vol. 5, pp.242-259, 1993

[4] M. Cohen and S. Grossberg, “Masking fields: A massively parallel neural architecture for learning, recognizing, and predicting multiple groupings of data”, Appl. Opt., vol. 26, pp.1866-1891, 1987

[5] A. Nigrin, “SONNET: A self-organizing neural network that classifies multiple patterns simultaneously”, Conf. Neural Networks, Washington. DC, pp.525-528, 1990

[6] J. Basak and S. K. Pal, “X-tron: An Incremental Connectionist Model for Category Perception”, IEEE Trans On Neural Networks, vol. 6, No. 5, pp.1091-1108, 1995

[7] Rumelhart,D.E.,Hinton,G.E.and Williams,R.J. Learning representaions by back-propagating errors. Nature,Vol.323-9, pp.533-536. 1986

[8] Rumellhart,D.E., Hinton,G.E. and Williams,R.J., “Learning internal representations by error propagation, In D.E.Rumelhart, J.L.McCelland and PDP Research Group”, Parallel distributed processing: Explorations in the microstructure of cognition, Vol.1, pp.318-362, The MIT Press, 1986

[9] K.Aihara, T.Takabe and M.Toyoda, “Chaotic Neural Networks”, Phys. Lett. A, 144, 6, 7, pp.333-340, 1990

[10] K.Aihara, “Chaotic Neural Networks, in “Bifurcation Phenomena in Nonlinear Systems and Theory of Dynamical Systems” (H.Kawakami ed.)”, 143, World Scientific, Singapore. 1990

[11] J.H. Holland, “Adaptation in Natural and Artificial Systems”, University of Michigan Press, 1975