コラム構造で表現される情報を統合するためのパルス伝達型ニューラル モデル確立
政策メディア研究科 後期博士課程
茶志川 孝和
本研究では、コラム構造で表現される情報を統合するためのパルス伝達型ニューラルモデル確立のために、動きを検出するニューラルモデルを考案した。本モデルは、1990年にEckhornらが猫の視覚野におけるニューロン間の同期現象を証明するために開発したニューラルモデルをベースに考案した。なお、このモデルは、1994年に J. L. Johnsonが画像処理への応用を示してから注目されているもので、一般的にPulse-coupled neural networks (PCNN)と呼ばれている。
Pulse-coupled neural networks
ここでは、本研究のベースとなっている、Pulse-coupled neural networksの概要として、Pulse Coupled Neural Network, John L. Johnson, “Pulse-coupled neural nets: translation , rotation, scale, distrtion, and intensity signal invariance for images” APPLIED OPTICAS, Vol.33, No.26, 10 September 1994から一部を抜粋し翻訳したものを示す.
1. Eckhorn, et al. のベーシックモデル
1.1. neuromime （おのおののニューロンに対し二つの受容野を持たせ、リンクメカニズムを導入することで変更したモデル）
このモデルは、軸索、リンク調整、パルス発生器の三つの部分によって構成されている。
1.1.1. 軸索
軸策は、ｊ番目のニューロンのリンク部分に対し、二つの別々の入力を作るために、二つの主要な枝に分割されている。二つの入力とは、Feeding input 
とLinking input 
である。これらは、連続時間において、式（１）、（２）によってそれぞれ与えられる。なお、不連続時間ステップにおいては、付録１に示してあるデジタルフィルタモデルが用いられる。
それぞれの入力は、その軸索上のシナプス結合による重み付き加算である。シナプスそれ自身は、leaky integratorsとしてモデル化されている。Leaky integratorsは、短い電圧パルスによって充電され、指数的に減衰する、並列に接続された抵抗とコンデンサで電気的に表現することができる。同様に、シナプスがパルスを受け取ったとすると、充電され、その出力の大きさは急激に上昇する。上昇の度合いはシナプスに付加されたamplitude-gain factorによって決まる。そして、それは、時定数に従って指数的に減衰する。図１に示すように、これらのシナプス信号は軸索の枝の総合信号出力を形成するように合計される。シナプスのamplitude-gain factorと時定数によって、信号の特徴が決定する。Feeding branch のシナプスはlinking branchのものと比べて小さな時定数を持つと仮定する。この仮定は、フィーディングの信号に長い減衰を持たせる。このときスパイクのようなリンク入力がリンク調整処理を通して作用する。Linking, Feeding入力はそれぞれ以下の式で表される。
（１）
（２）
但し、
と
は、それぞれ、k番目のリンキング、フィーディングシナプスにおける、synaptic gainまたは重みである。
は入力パルス、
、
は時定数、
は畳み込みである。
はニューロンjへのアナログのフィーディング入力であり、ここでは別の信号として扱っているが、一般的にはハルス上の入力として重みつき加算で表現することが可能である。
1.1.2. リンク調整
リンク調整は、リンク入力に対して正のバイアス項を付加する部分と、フィーディング入力とこれを掛け合わせる部分からなっている。バイアスは調和のために使われる。内部出力はニューロンの内部電位の和、
である。
（３）
ここで、
はリンクの強さを示す。
は時間の関数である。フィーディング入力はリンク入力に比べ小さな時定数を持つという、先の仮定の元においては、
の一般的な振る舞いは以下のようになる。フィーディングの入力によって形成されるある意味一定なcarrierのうえで上昇するスパイクのような調整として、リンキング入力が現れる。それゆえ、内部電位は、リンキング入力が発生すればいつでも、フィーディング入力のレベル以上まで短時間で上昇する。（図2参照）この効果はネットワーク全体に見ることが出来る同期現象の原因である。式（3）においても、リンキングフィールドモデルとハイオーダーネットワークの間の一致を確立している。もし式（1）、（2）が式（3）に代入されたとすると、二重和を伴った
の形をした項が生成される。これは２次のネットワークである。このことは、以下のことを暗に示している。もし、平均発火率というよりパルス列が二次のネットに使われたとすると、時間的同期減少が観測される。適合型二次ネットの研究はEckhornのリンキングフィールドモデルに対して同じように適用することができる。
1.1.3. パルス発生器
パルス発生器は前のパルスに従った閾値区分器とパルス発生器自身の前のパルス出力によった可変閾値を利用している。ニューロンがパルスを発生させると、図１に示したような他のleaky integratorであるところの閾値をフィードバックする。ひとつ、もしくはもっと多くの出力パルスが閾値を高いレベルにリチャージする。また、これは、閾値を現在の内部電位
よりも高い値に即座に増加させる。この内部電位は、閾値区分器に前のパルスをオフさせるため、ニューロンはパルスの発生をやめる。そして、新しい出力パルスまたは、ニューロンからのパルスバーストを発射すると、リチャージされた閾値は、その時定数とamplitude-gain factorに従って、それ自身が内部電位より再び小さくなるまで指数的に減衰する。（図２参照）これはRefs1,6-8に示されたパルス発生器モデルを示しており、ここでは正確なモデルと呼ぶことにする。正確なモデルの重要な結果のひとつとして、前のパルスが決まった間隔の列を生成するということが上げられる。付録1はこのことに関するひとつの方法を示している。この間隔は、新しいパルスが発生できない、ニューロンの不応期、
を示している。これは、最大出力パルス周期に上限を与えている。単一の出力パルスの場合は、閾値区分器に単純なモデルを適応することができ、前のパルスはステップ関数によって置き換えることが出来る。このモデル（Ref.12）は、この論文で利用しています。下に示した式（4）、（5）はこのモデルで使っている、閾値とステップ関数を示している。この近似において因果関係は保持されなければならず、またそれは式(4)においてごくわずかに遅延した時間においてステップ関数の出力が評価されたことを示すために
の使用によって示されている。遅延の量は
によって決まり、またそれは、式(4)において、以下のことを強調するためだけに示されている。閾値
はステップ関数の出力
によってリチャージされる。[正確なモデルにおいては遅延時間は必要でない（付録１参照）]
(4)
(3)
ここで、
と
はamplitude gainとleaky integrator 閾値の時定数であり、
は閾値のオフセットである。また、stepはステップ関数を示している。Eckhornによって用いられている時定数はリンキングとフィーディング時定数間の中間値である。単純なパルス発生器は2つの細胞振動と一致する。そのなかで、閾値は遅い反応を示す抑制細胞として、またステップ関数は早い反応を示す興奮細胞の役割をする。このモデルの三つの部分、軸索、リンク、パルス発生器は、受容野における重み付き和、二つめの入力チャネルをもちいて1つ目の入力チャネルを調整する、そして出力パルスの生成の役割をする。順番にそれらは、他のニューロンの受容野を通して受け取られる。この論文の残りの部分では、特に断りがない限り、同じ閾値の時定数がすべてのニューロンで使用され、同じリンキング時定数がすべてのリンキングフィールドで使用され、同じフィーディング時定数がすべてのフィーディングフィールドで使用され、そして同じリンキングの強さがすべてのニューロンで使用される。
1.1.4. その他
単一のニューロンの発火率はフィーディング入力のシグモイド関数である。このことは、ニューロンのパルス間隔
によって示される。これは、リチャージされた初期値から内部電位のレベルにまで減衰させるために閾値に必要とされる時間である。（図２参照）
によって閾値がひとつのパルスを伴ってリチャージされたとき式(4)を考えなさい。一定のフィーディング入力Fと０リンキング入力のために、Fにフィードバックされる減衰時間は
(6)
単純なモデルにおいては、この点において、不応期はパルス期間に付加されている。正確なモデルにおいては、これは暗黙のうちに含まれている。パルス発火率
は
(7)
であり、図3に示す。これはシグモイド関数である。その単調増加な振る舞いは、original input feeding distribution はどのようなときにでも、多くのパルス期間を平均することによってほとんど修復可能なことを示している。なぜなら、パルス周波数はより強い（もっと強烈な）フィーディング入力に対して、より早いからである。シグモイド非線形は
よりも小さな値に切り捨て、飽和付近では、squashing function(押しつぶす関数)として機能する。それゆえ、パルス平均が終わった後では、全体の関数は内グ活動を出力にマッピングしているシグモイドである。
リンキングのパルスが入力されているときには、それらの強度は、リンキングパルスを受けているニューロンにおける、キャプチャーゾーンを決定している。図2より、キャプチャーゾーンの時間間隔は、
が0の時、
(8)
である。ここで、
はリンキングの強さである。もし、リンキングパルスがこの間隔で受け取られたとすると、それは、内部電位を一瞬増加させ、リンキングパルスが到達した時間にニューロンを発火させる。（図2参照）もし、ニューロンのパルス率
、
が似ているとすると、パルスを受け取ったニューロンの周波数は、パルスを発生させているニューロンの周波数に固定される。もし、二つのニューロンが同じ周波数
）だった場合、それらの位相差
がキャプチャーゾーンタイプ期間以内であれば、それらは位相ロックする。
(9a)
(9b)
それぞれ、周波数ロック、位相ロックの条件。パルスカップルリンキングフィールドモデルはシナプス重み[式(１)，（2）]を含んでいるが、特別な学習則を必要としない。いかなる学習則も適応可能である。周波数関数式(7)が多くのパルスの平均の限界において、希望の非線形反応を与えるので、このモデルはこの限界において、従来の非パルスネットワークを減らす（？）。それは、重み付き内部結合、内部合計、そして、シグモイド非線形を持っている。
Phasic Dynamicsの導入
本研究では、動きを捉えるために、受容器が刺激に対して順応するという特徴に着目した。個々でいう、受容器の順応とは、例えば暗いところから急に明るいところへでると一瞬目がくらむが、しばらくするとだんだんなれてくるようなことである。受容器は一般にこの順応と程度でいかの二つに分類することが出来る.
•Tonicな（持続性）受容器
•Phasicな（相動性）受容器 –刺激に対し、応答が一過性（すぐ順応）
本研究では、Phasic性をPCNNに導入するために、フィーディングにかんする式を以下のように変更した。
このことにより、PCNNは以下のような特徴を示すことが期待される.１．PCNNは刺激の変化の速度（刺激の微分）に比例した信号を出力する。２．•刺激の変化の違いにより、従来とはまったく異なった応答が得られる。
シミュレーション ここでは、PhasicなダイナミクスをPCNNに導入した効果を見るために、画面中を四角いオブジェクトが移動する連続データを入力した。なお、入力データは、一定速度で移動するもの、途中で止まるもの、他に移動しないオブジェクトを含むもの3通りを用意した. 一定速度で移動 途中で止まる 移動しない物体を含む 以上の例で示すように、Phasicなダイナミクスを導入したPCNNは動きの部分のみをセグメンテーションすることが可能である。 特記事項 本研究は、Intelligent Processing and Manufacturing of Materials (I P M M-2001), The 3rd International Conference July 29 -
August 3, 2001Vancouver, British Columbia, Canada での発表が決まっている。以下に、そのイントロダクションを示して本報告を終わる。 An evaluation of Pulse-Coupled Neural Networks using Phasic Dynamics Takakazu Chashikawa* **, Yoshiyasu
Takefuji* * Graduate School of Media and Governance,
Keio University ** NITTAN Co.,LTD. INTRODUCTION It would not be an
exaggeration to say that the Pulse-Coupled Neural Networks (PCNN) is the
state-of-the-art in an image processing. Many researchers proposed variety of
neural applications for image processing. A feed forward neural network with
the error backpropagation rule (sometime together with other model) has been
specially affected because an only low computation cost is needed after
training network. But this type of a neural model has a serious problem that
its outputs are affected from a rotation, scale and distortion of the image. As
a result, a preprocessor is needed for real system use. Even though no model
can solve this problem perfectly, many models are proposed to work this
problem. Above all Cognitoron and Neocognitron proposed by Fukushima show great
contribution. These models are proposed as a neurobiological model. These
simulation results show that these models can simulate human leaning and
cognitive process. But these models are complex and need much computation time.
In 1994 J. L. Johnson indicated novel method to solve this problem, which is
known as a Pulse-coupled neural networks (PCNN). The method is based on a
linking-field neural network model, which introduced by Eckhorn et.al in 1990
to explain synchronization among neurons of a cat visual cortex . He showed it
inherently extract the feature of image such as edges and segments, etc, a
training or parameter adjustments are not required, and its time signals have
invariance to a rotation, scale and distortion of the image. In addition other
researchers have denoted many other examples. H.S. Ranganath and G. Kuntimad
applied it to an object detection, J. M. Kinser and Thomas Lindblad showed
example of detecting micro calcifications , J.M. Kinser indicated example of an
image fusion and so on. There are great hopes that the PCNN applies to wide
variety applications. In this paper we
focus on inputting time series data to PCNN. The PCNN algorism calculates
current output in each iteration. One can process time series data without
modification of equation. If we can treat a time series data well, the PCNN is
available in more wide variety applications. In other hands many people will
have interesting experience that we adapt their selves to stimulus. For
example, while a driver is dazzled by the sunshine of the outside of a tunnel,
a few minutes later the driver can drive a car as if nothing had happened.
According to a neurobiological report, the neural receptor including visual,
olfactory, and feelings is classified into a tonic and phasic receptor based on
the adaptation to a stimulus []. The tonic receptor weekly adapts to the
stimulus and the phasic receptor strongly adapts. From this point of view an
aforementioned example denote feature of phasic receptor and conventional PCNN
results denote feature of tonic receptor. The neurobiological roles of these
receptors are also different. The tonic receptor's role is that it propagates
position and strength of stimulus to the brain and the phasic receptor's is
that it propagates change of it. The adaptation will be very important process.
In other words the tonic receptor encodes the strength of the stimulus to the
pulse and the phasic receptor encodes stimulus change. We expect the PCNN will
detect change sinter frames in dynamical image inputs, for instance moving
object, if it have a feature of phasic dynamics. Consequently we will propose
method for applying phasic dynamics to the PCNN and evaluate it by comparing
PCNN with PCNN with phasic dynamics by using dynamical and static image inputs. The phasic dynamics will bring some interesting behaviors
and give wide application to the PCNN. This paper will, therefore, begin by
briefly summarizing basic PCNN in section BASIC PCNN, describe a method for
applying phasic dynamics to the PCNN in section OUR APPROACH, show some
simulation result in section EXPERIMENTAL RESULT and the affect of phasic
dynamics will be discussed in section DISCUSSION. Finally, this paper will be
concluded in section CONCLUSION. REFERENCES R.Eckhorn, H.J.Reitboeck,
M.Arndt, and P.Dicke, “Feature linking via synchronization among distributed
assemblies: simulations of results from cat cortex,” Neural Comput. 2,
293-307(1990) H. S. Ranganath and
G. Kuntimad, Object Detection Using Pulse Coupled Neural Networks, IEEE
TRANSACTIONS ON NEURAL NETWORKS., BOL. 10, NO. 3, MAY 1999. J. M. Kinser and
Thomas Lindblad, Detection of Microcalcifications by Cortial Stimulation,
Neural Networks in Engineering Systems, p.203-206 A.B. Bulsari and S. Kalli
(Eds) ISBN 952-90-8669-9. J.M. Kinser,
Pulse-Coupled Image Fusion, Optical Eng., 36(3), 737-742 (1997) Rumelhart, D.E.,
Hinton, G. E., and Williams, R.J. 1986. Learning internal representations by
error propagation. In Parallel distributed processing, vol. 1, pp. 318-62. Cambridge,
MA: MIT Press. Akira IWATA,
Hiromitsu KAWAJIRI and Nobuo SUZUURA: “CLASSIFICATION OF HAND-WRITTEN DIGITS BY
A LARGE SCALE NEURAL NETWORK “CombNET-II””, 1991 IEEE Internatinal Joint
Conference on Neural Networks (Cat.No.91CH3065-0), P.3 vol.x1+2768, 1021-6
vol.2 (1991). Fukushima, K. 1975.
Cognitron: A self-organizing multilayered neural network. Biological
Cybernetics 20: 121-36. Fukushima, K. 1980.
Neocognitron: A self-organizing neural network model for a mechanism of pattern
recognition unaffected by shift in position. Biological Cybernetics
36(4):193-202. Pulsed Neural
Networks edited by Wolfgang Maass Christopher M. Bishop, A Bradford Book, The
MIT Press. Thomas Lindblad and
Jason M.Kinser, Image Processing using Puls-Coupled Neural Networks, Springer. Fundations of Neurobiology, Fred Delcomyn,
W.H. FREEMAN AND COMPANY.
（入力）
（出力） （入力）
（出力）
（入力）
（出力）