2002年度森基金報告書

生理情報を用いた状況適応型エージェントシステムの研究

慶應義塾大学大学院　政策・メディア研究科
大野彩子（Saiko Ohno）
sai@sfc.keio.ac.jp

研究の背景

近年、人間とパーソナルエージェントの協調に関する研究は盛んであり、例えばジェスチャや接触強度によってユーザの意図を推測し振舞いを変化させるペットロボット[1][2]や、行動履歴からユーザの嗜好や次の行動を予測例示するシステム[3]などが開発されている。これらユーザ側からの能動的行為を利用した状況認識技術に加えて、連続的な状況適応を可能にするためには、身体的な行為としてあらわれにくい無意識的なユーザの状態を認識することが必要であると考えられる。
本研究では、従来の状況認識技術に加え、ユーザの生理情報をモニタリングすることでより連続的に相手の状況に適応するエージェントシステムの開発を目指す。また、生理情報のセンシングとインタラクションモードの切り替えをモデル化し、介助ロボットのような日常生活での活躍が期待されるパーソナルロボットへの応用について検討する。

研究目的

本研究は、従来の状況認識技術に加えユーザの心身的な状態を、定量的・客観的にあらわしやすい心拍数や瞬目などの生理情報で捉え、相手の状況に適応したエージェントシステムの開発を目指す。
具体的には、小型センサや非接触型センサを組み合わせた生理情報およびその他の情報センサユニットと、ユーザの状況を推測し適切なモードに切り替える対話ユニットの開発、そして実際にシステムによる実装が可能な形でのモデル化を目指す。

コンセプト

A-"気を利かせる": 本研究でイメージするエージェントシステムは、ユーザの状態を推測し、自発的にアプリケーションを制御して適度なタイミングでユーザに適切なサービスを提供する"気の利いた"システムである。
ユーザの状態を推測するために、ユーザの行動変化や環境の変化を監視する従来の状況認識技術に加え、ユーザの心身状態を推測可能な生理情報の変化をセンシングする。システム処理の流れを、以下に示す[図1]。
B:人-人のコミュニケーションを支援する: 上述したコンセプトAでは、あるユーザ（U１）のエージェントシステム（E1）がU1のためにアプリケーションを制御しているが、他のユーザ（U2）のエージェントシステム（E2）と通信し、U1の状態を自発的、あるいはE2からのリクエストによって提示するモードも視野にいれる[図2]。これを人-人のコミュニケーション支援に役立てたい。
例えば遠隔教育システムへ適用が考えられる。継続的なモニタリングから生徒の状態（疲労度が高まっている、興味を示しているなど）を推測し、自発的、あるいは教師側からのリクエストによって結果を提示する。講師側はそれに応じて講義のペースや内容を変化させることができ、豊かなコミュニケーションを支援できる。

試作システム

上述したコンセプトに基づき、試作システムを実装中である。試作システムの開発環境としてOSはWindows、アプリケーションはVisual Basicを用いている。現状、状況認識部とアプリケーション部は個別に試作している段階である。以下、開発中の部分について個別に説明する。

状況認識部/状態推測部

（１）瞬目検出
無意識的な瞬目（不随意性瞬目）のうち、大きな光や強い光などの外的刺激が関わらない状態で生じる瞬目を自発性瞬目と呼ぶ。一般に、TVなど興味のある対象物を見ているときには自発性瞬目が抑制されることが知られている[4]。
そこで、本研究ではこの自発性瞬目（以下、瞬目と略記）をモニタリング対象とし、ユーザの瞬目率（一分間に生じた瞬目の回数）を測定する。
試作システムでは、瞬目の測定を画像認識によっておこなった。実験の前提条件として顔面がほぼ静止しているものと仮定し、瞬目に伴う眼球表面上の色情報の変化を認識することで瞬目をカウントしている。システム実行時の様子を図[3][4]に示す。なお、キャプチャ用カメラにはQcamPro3000（Logicool製）を用いた。

図３：実行例-開眼時

図４：実行例-閉眼時

（２）キーボード打鍵状況の検出
パソコンを使用している際、キーボードの叩き具合からユーザの状態を推測することができる。オフィスワーク中のユーザであれば、キーボードを激しく叩いているときには仕事効率が上がっており、逆にほとんど叩いていないときには思索中あるいは仕事効率の低下が推測される。
そこで試作システムでは、キーボードの打鍵率（一分間に叩かれたキーボードの数）を測定し、状況推測要素の一つとする。打鍵率の測定は、100ms間隔でサンプリングして算出した[5]。
例えば、ある作業に集中しているときには疲れを自覚できないため、休憩を取り忘れることがある。この場合、短期的には作業効率は上がっているが、長い目で見てみると結果的に作業効率が下がることがある。
試作システムをパソコンに向かってオフィスワークをしているユーザに休憩を促すエージェントとして適用する場合、表[1]に示すように、瞬目率変化と打鍵率変化の組み合わせからユーザが作業に集中しているかどうかを推測することができる。

図５：打鍵率判定

表１：瞬目率と打鍵率の組み合わせ

瞬目率	低下	高い
打鍵率	高い	低下
集中	○	△/×

ユーザの状態が集中→集中していない状態に変化したと推測した場合、エージェントシステムがユーザに休憩を促す。条件が満たされた際の具体的なインタラクション手段として、以下のアプリケーションを試作した。

アプリケーション

●"Have a break?"
シリアル経由で、"Have a break?"のメッセージが流れる（使用音声合成システムはDeckTalk）。無線化が可能であれば、これをぬいぐるみや卓上キャラクタに隠すこともできる。

●Smart DJ
集中しているときとは異なる音楽に切り替える。曲はあらかじめ集中用と休憩用をユーザ自身が設定するようになっているが、学習機能を追加することで、個人に適した音楽の提供の実現を目指したい。

●"Have a break?"（part2）
赤外線でコーヒーメーカーを稼動させる。現在は、学習リモコンを用いた動作確認の段階。

課題

上述した試作システムを、それぞれ統合して実働する前に以下の課題を解決する必要がある。

●瞬目検出システムの精度: 現状の瞬目検出システムでは一秒間に10フレーム間隔でサンプリングしているが、瞬目の速度やサンプリングのタイミングによって認識できない瞬目がある。使用機材の高速化とアプリケーションの工夫、および画像認識を補完する何らかのセンシングシステムの追加が必要である。また、複数の被験者を用いて精度確認のための実験をおこなうべきである。
●センサの小型化および固定: 瞬目を検出するためのセンサ（ここではキャプチャカメラ）によって日常的な活動を阻害されないよう、ビデオを小型化し、常に眼球を検出できるよう固定する必要がある。方法として、超小型のビデオカメラを眼鏡や帽子に固定する等が考えられるが、これについては今後検討する。
●瞬目率／打鍵率の閾値確認: 状態推測部によって、ユーザが集中しているかどうかを推測するために、推測結果の正解率と瞬目率および打鍵率の閾値との関連性を確認する必要がある。
●学習機能部の追加: 現段階では、学習機能部に手をつけていない。今後、　ニューラルネットワーク等を用いて学習するエージェントの構築を目指したい。
●他エージェントシステムとの通信の実現: 現段階では、複数ユーザを前提としていない。今後は、ネットワークを介してお互いの状態を推測する仕組みを視野にいれた開発をおこないたい。

関連研究

ユーザの生理的な信号を取得することにより、ユーザの状態を推測する先行研究として、脳波の計測によりユーザの内的な過程との関連付けをおこなう研究[5]や顔面皮膚温度を情動評価のための指標として用いる研究[6]などがある。本研究で計測対象とした瞬目に関するものの多くは、ユーザの覚醒水準の指標として用いる研究[7]だが、近年では心理状態との関連性を示唆された多数の知見もまとめられている[4]。特に、興味と瞬目の関係に着目している研究として、ハイビジョン立体映像に対する注目度を瞬目に基づき評価する試みがある[8]。
生理情報をユーザの心身的な状態判断の指標として導入し、日常的なインタフェースに応用している事例は散見される程度だが、指輪型脈拍センサによって連続的にユーザの動脈血流をモニタリングし、室内のエアコン温度を最適な状態に保つ研究や[9]や、入浴中の心拍数変動によってBGMを制御する試みなどがある。小型、あるいは非接触で心拍数を測定しているため、ユーザにとって身体的拘束が少なく日常生活を阻害しないという点でも興味深いが、生理指標だけを測度としているという点で本研究とは異なっている。

参考文献

[1] 佐藤知正, 中田亨：人と調和するペットロボットのための対人心理作用技術，人工知能学会誌16巻3号，pp.406-411，(2001).
[2] 三原功雄，山内康晋，土居美和子：実時間ビジョン型インタフェースとペットロボットへの応用，信学論，Vol.J84-D-Ⅱ，No.9，pp.2070-2078，(2001).
[3] 増井俊之：予測/例示インタフェースの研究動向, コンピュータソフトウェア，Vol.14, No.1, pp.1-16, (1997).
[4] 田多英興,山田登美雄,福田恭介：まばたきの心理学,北大路書房(1991).
[5] 熊谷基継,田中久弥,井出英人：バイオフィードバックによるリラクゼーション支援の基礎検討,ヒューマンインタフェース学会HIS1998,pp.127-130,(1998).
[6] 西尾恭幸：3電極方式皮膚インピーダンス計の開発と精神負荷評価への応用,ヒューマンインタフェース学会論文誌,Vol.3, No.1, pp.31-38,(2001).
[7] 山本新,杉山和彦,中野倫明：自動車運転環境におけるドライバのまばたき計測,電気学会論文誌C,115-C,pp.1411-1416,(1995).
[8] 石山邦彦,山田光穂,磯野春雄：ハイビジョン立体画像観察時の瞬目に関する分析,テレビジョン学会誌,49.8, pp.1032-1041,(1995).
[9] Boo-Ho Yang, S.Rhee and H.Asada :Tewngy-For Hour Telenursing System using a Ring Sensor, Prc.of IEEE Int.Conf. On Robotics and Automation, Leuven, Belgium,(1998).