2014年度 学術交流支援資金 研究活動報告書
〜 海外の大学等との共同学術活動支援 〜
大学院プロジェクト科目名： 認知・言語の発達と学習
研究課題名： オブジェクト認知に関する脳情報の読み出し
研究代表者名： 慶應義塾大学 環境情報学部 青山敦
1. 研究概要
近年，人間の脳の活動を非侵襲に計測する技術が目覚ましく発展し，これまでブラックボックスとして扱われていた脳の内部状態を外から知ることができるようになってきた．これに伴って，計測した脳データから情報を直接読み解く技術（神経デコーディング技術）が，脳情報通信へ繋がる次世代のコミュニケーション手段の基礎技術として大いに注目を集めている．例えば，視覚野の活動パターンに基づいて視覚経験をコンピュータ上で再現したり，手を失ってしまった人が運動イメージによって義手を動かしたりする技術が既に実用化され始めている．しかしながら視覚経験や運動イメージなどの低次脳情報のデコーディングに対して，人間に特有な機能である認知や注意，情動，統合情報といった比較的高次な脳情報のデコーディングに関してはあまり研究が進んでいない．本研究では，Neuroscience Center Zurich（スイス連邦工科大学チューリッヒ校とチューリッヒ大学の共同機関）やMIT Computer Science and
Artificial Intelligence Laboratory（CSAIL）の協力を仰ぎ，時間分解能に優れる非侵襲脳計測手法であるEEG（脳電図）やMEG（脳磁図）を用いて，オブジェクト認知に関する神経デコーディング技術を向上させることを目指して研究を遂行した．
現行のデコーディング研究の多くは，サポートベクターマシンなどの機械学習を用いて脳活動データを統計的に分類する方策を取っており，実際の脳情報処理を省いて議論してしまっている．しかしながら高次脳情報は抽象化され，活動パターンの複雑化・低信号化・個人差が生じるため，この方策では限界がある．例えば，視覚野においては，映像が投影される眼の網膜上の各位置と視覚野内の各領域が一対一で対応しており（網膜部位局在），活動パターンの空間分布から視覚経験を再構成できるが，情報処理が施されるにつれて部位局在は失われ，複数の脳部位がネットワークとして機能するようになる．一般に，脳信号は何十倍もの強度を持つノイズの中に埋もれて計測されるため，ネットワークの構造や各部位における活動の因果関係などの先見情報がなければ，単純に機械学習を用いても高いデコーディング精度は得られない．したがって本研究ではこのような問題を回避するために，認知や注意，情動，統合情報などのオブジェクト認知に関する脳情報処理の基礎的知見を脳計測（やシミュレーション）によって幅広く収集した．これによって，脳情報処理に立脚したオブジェクト認知に対するデコーディング技術の向上に繋げることを目指した．
2. 実験内容
先行研究においては，対象情報や親和性に関して各々70%程度のデコーディング精度を達成している（Kenichi Yuasa, et al., Proceedings of
the 8th International Symposium on Noninvasive Functional Source Imaging of the
Brain and Heart & 8th International Conference on Bioelectromagnetism,
2011）．また研究代表者はNeuroscience Center ZurichやMIT CSAILと共同で，生体信号の読み出し（Dominique Cadosch, et al, Proceedings of 2011 IEEE International
Conference on Systems, Man, and Cybernetics Society, 2011; Dana Damian, et al.,
Adaptive Behavior, 2014）や脳内過程の推定（Atsushi Aoyama, et al.,
Spatial Cognition and Computation, 2012）に関する研究を行ってきた．これらの研究を基に，本研究課題においては，主にBrain Products社製32チャンネルEEG計測装置やNeuromag社製122チャンネルMEG計測装置を用いて脳計測による知見収集を行った．脳計測においては，10名程度の実験協力者を対象として，暗室において視覚刺激や聴覚刺激を呈示した．具体的に行った実験例としては，国際標準化された情動喚起画像集であるIAPS（International Affective Picture System）を使用し，快／不快／ニュートラルの3カテゴリーの視覚刺激を繰り返しランダムに呈示した実験が挙げられる．実験協力者には，ボタン応答によって画像の内容が生物／無生物を回答して貰った．計測データは，最小ノルム推定法を用いて脳機能画像化し，加算平均した信頼性の高い画像から脳情報処理の時空間的な特性を調べた．情動回路において中心的な役割を担っている扁桃体は脳の深部に位置するため，MEGやEEGでは信号の取得がなかなか難しい．しかしながら，MEGやEEGが測りやすい大脳皮質の一領域である下頭頂小葉において，生物の快／不快／ニュートラルのみで差異が生じることが分かった（図1参照）．反対に，生物／無生物の2カテゴリーの視覚刺激（IAPS）を繰り返し，ランダムに呈示する実験も行った．実験協力者には，ボタン応答によって画像の内容が，快／不快（／ニュートラル）を回答して貰った．計測データは，同様の処理をして画像化し，脳情報処理の時空間的な特性を調べたところ，やはり下頭頂小葉において生物の快／不快／ニュートラルのみで差異が生じることが分かった．
図１：情動×対象に関する複合情報に特異的な脳活動
また情動情報×対象情報の複合情報のように，視覚情報と聴覚情報の組み合わせを作って，視聴覚刺激を繰り返しランダムに呈示する実験も行った．実験協力者には，ボタン応答によって視聴覚情報の対応付けに従って，一致／不一致を回答して貰った．計測データは，最小ノルム推定法を用いて処理をして画像化し，脳情報処理の時空間的な特性を調べた．視聴覚情報が不一致となる際に，聴覚野や視覚野の活動が100ms後から増大し，認知や行動の意思決定が行われる500msも前から整合性を脳内で識別し得ることが分かった．更には，ウェーブレットを用いて時間周波数解析を行うと，θ波（4–8Hz）の位相に同期したγ波（30Hz以上）のパワー増大などが視聴覚連合野である上側頭溝で観測され，無意識的なレベルでの誤差情報の伝播を上側頭溝で読み取れる可能性が示唆された．その他，リラックス情報，注意情報等についても知見収集を行った．成果の詳細については，「4. 学術成果報告」を参照されたい．
3. 課題と今後の展望
今年度の研究課題においては，（比較的）高次な情報のデコーディングを行う際には，ある特定の情報にのみ着目するのではなく，複合的な情報を読み出すことが重要であることが明らかになった．全てのケースを虱潰しに調べるのは困難であるが，脳自体がどのような複合情報を優先的に処理するのかを把握することは重要であり，可能な限り調べる必要がある．また現在のところ，加算平均した信頼性の高い画像から脳情報処理の時空間的な特性を調べ理解した上で，単一施行でのデコーティングを試みている．オブジェクト認知に対して実際の脳情報処理に立脚したこの高次情報の読み取り技術が成熟すれば，脳活動の複雑化・低信号化・個人差により陥る問題の予測的な回避，高次脳情報に対するデコーディング理論の体系化が期待でき，デコーディングを高精度化できる．得られた成果は，脳情報通信の技術向上に大きく寄与し，ALS（筋萎縮性側索硬化症）などの身体表現が困難な患者とのコミュニケーション手段にも応用できる可能性がある．従って基礎機能の解明から多岐に亘る応用までを見据えて続けていく必要がある．これらの課題や今後の話については，3月2日〜11日のスイス出張（Neuroscience Center Zurich訪問）においてディスカッションとフィールドワークを行ってくる予定である．
4. 学術成果報告
青山敦，重田和宏，本多敏，栗城眞也，“左右反転立体音響への約1ヶ月に渡る順応過程における視聴覚空間統合”，第29回日本生体磁気学会大会，大阪 (2014.5)（第28回日本生体磁気学会大会論文集，vol. 27, no. 1, pp.
112–113）U35奨励賞．
志村悠，青山敦，大無田孝夫，野本洋平，小山裕徳，川澄正史，“呼吸統制によるリラックス状態の制御下における聴覚誘発脳磁界と心電図の同時計測”，第 28回日本生体磁気学会大会，大阪 (2014.5)（第29回日本生体磁気学会大会論文集，vol. 27, no. 1, pp.
162–163）．
徳留規裕，志村悠，豊田雄基，小山裕徳，川澄正史，青山敦，大無田孝夫，野本洋平，“呼吸統制下における視覚誘発脳磁界と心電図の同時計測”，日本人間工学会第55回大会，神戸 (2014.6)（人間工学，vol. 50S，pp. 296–297）．
Atsushi Aoyama, Kazuhiro Shigeta, Satoshi Honda, Shinya Kuriki, "Audiovisual
spatial integration during long-term adaptation to left-right reversed
audition", 19th International Conference on Biomagnetism (BIOMAG 2014),
Halifax (2014.8).
Atsushi Aoyama, Kazuhiro Shigeta, Shinya Kuriki, "An MEG study of audiovisual
spatial integration during long-term adaptation to left-right reversed
audition", Joint meeting of the EEG & Clinical Neuroscience Society
(ECNS), International Society for Research in Neuroimaging
(ISNIP), & International Society for Brain Electromagnetic Tomography
(ISBET), Halifax (2014.9).
豊田 雄基，青山敦，小山裕徳，川澄正史，“視覚運動情報に対する予測と認知の関係性”，第13 回情報科学技術フォーラム（FIT2014），つくば（2014.9）（第13回情報科学技術フォーラム（FIT2014）講演論文集，pp. 311–312）．
Yoshihiro Nagano, Norifumi Watanabe, Atsushi Aoyama,
"Analysis of neural circuit for visual attention using lognormally
distributed input", 24th International Conference on Artificial Neural
Networks (ICANN 2014), Hamburg (2014.9) (Artificial Neural Networks and Machine
Learning - ICANN 2014, pp. 467–474).
Atsushi Aoyama, Shinya
Kuriki, "Cross-sensory information processing in human
brains: a magnetoencephalographic study", Institute of Electro-optical
Science and Technology Seminar, National Taiwan Normal University, Taipei
(2014.11) Invited lecture.
長野祥大，渡邊紀文，青山敦，“視覚的注意を実現する神経回路モデルの構築”，湘南藤沢学会第12回研究発表大会，東京（2014.11）（湘南藤沢学会第12回研究発表大会抄録集，pp. 29–32）．
長野祥大，渡邊紀文，青山敦，“スパイク発火の位相限局を用いたMT 野注意制御モデルのノイズ相関分析”，脳と心のメカニズム第15 回冬のワークショップ，留寿都（2015.1）．
長野祥大，渡邊紀文，青山敦，“視覚的注意時の神経活動を誘起するトップダウンモジュレーションの計算論的検証”，日本生体医工学会第12 回マルチモーダル脳情報研究会，東京（2015.1）（日本生体医工学会第12 回マルチモーダル脳情報研究会抄録集，pp. 15)．
星野孝太郎，青山敦，“音楽ゲームにおける熟達者と非熟達者の脳機能解析”， 第24回ライフサポート学会フロンティア講演会，東京 (2015.3)（発表予定）．
志村悠，青山敦，大無田孝夫，野本洋平，小山裕徳，川澄正史，“リラックス状態の制御下における聴覚誘発脳磁界と心電図の研究”， 第24回ライフサポート学会フロンティア講演会，東京 (2015.3)（発表予定）．
Imai, M., Miyazaki, M., Yeung, Henny, Hidaka, S, Kantartzis, K, Okada, H., and Kita, S. (2015, in press)
Sound symbolism facilitates word learning in 14-month-olds. PLOS ONE.
Asano, M., Imai, M., Kita,
S., Kitajo, K., Okada, H. & Thierry, G. (2015).
Sound Symbolism Scaffolds Language Development in Preverbal Infants. Cortex,
63, 196-205. doi: 10.1016/j.cortex.2014.08.025
今井むつみ 言語発達と身体への新たな視点 今井むつみ・佐治伸朗編 岩波講座『コミュニケーションの認知科学』第１巻第１章 pp1-34. 岩波書店
今井むつみ・佐治伸郎 人と言語 今井むつみ・佐治伸朗編 岩波講座『コミュニケーションの認知科学』第１巻第10章 pp. 259-284. 岩波書店
Imai, M. & Kita, S.
(2014). The sound symbolism bootstrapping hypothesis for language acquisition
and language evolution.
Philosophical Transactions of the Royal Soceity
B. Phil., vol.,369: no. 1651, pii: 20130298,
doi:10.1098/rstb.2013.0298
Kanero J, Imai M, Okuda J,Okada H,Matsuda T(2014). How
Sound Symbolism Is Processed in the Brain: A Study on Japanese Mimetic Words PLoS ONE9(5):e97905.doi: 10.1371/journal.pone.0097905
Malt, B., Ameel, E., Imai,M., Gennari,S. , Saji,N., & Majid, A. (2014 ) Human Locomotion in Languages:
Constraints on Moving and Meaning.
Journal of Memory and Language, 74, 107-123.
Imai, M. , Schalk, L., Saalbach, H., &
Okada, H. (2014). All giraffes have female-specific properties: Influence of
grammatical gender on deductive reasoning about sex-specific properties in
German speakers. Cognitive Science, 38(1), 514–536. doi
: 10.1111/cogs.12074