2006年度 森泰吉郎記念研究振興基金 報告書
政策･メディア研究科修士課程2年
加藤雅士
映像視聴時の感情状態推定手法の提案
〜生体情報を用いた・ヒューマンモデリング〜
本研究の目的
本研究の目的は生体情報データを用いて、映像視聴時の感情状態を推定可能な手法を提案することである。問題を単純化するためにまず、静止画観賞時の感情状態推定手法の提案を目指した。
研究の手法
目的を達成するために、本研究では予め主観評価によって生起する感情状態を明らかにした静止画像を用いて、これらを視聴した場合の生体情報データを記録し、これをニューラルネットワークで学習することによって、生体情報データから感情状態を推定可能な「感情状態推定モデル」を構築することを試みた。
本研究の新規性
生体情報データから感情状態を推定することを試みた先行研究では、主に脳波が指標として用いられている。本研究では非接触型の眼球運動測定装置を用いることで、測定に必要なセンサを極力減らすことに優位性があると考え、眼球運動データと脳波に比べてセンサ装着による被験者の負担が遥かに軽い4種類の生体情報データ（指尖容積脈波、皮膚電気活動、呼吸）を組み合わせたデータから感情状態を推定する手法を提案することを目指した。
実験
実験では快感情状態、中立状態、不快感情状態を誘発する静止画刺激を被験者に提示し、その際の生体情報データを測定した。実験によって得られたデータから感情状態の識別にとって有効な特徴を抽出し、その特徴を用いてニューラルネットワークを学習した。
ニューラルネットワークの学習
まず、眼球運動データから抽出した視線の移動速度の変化を特徴とするデータを用いてニューラルネットワークによる学習を行った。その結果、学習が収束し、上記眼球運動データから感情状態を推定可能な「感情状態推定モデル」が作成された。作成されたモデルに学習に使用していない未知データを入力し、推定精度の検証を行ったところ、快、中立、不快の3感情状態に対して54.4％の推定精度が得られた。
さらに推定精度の向上を図り、眼球運動データに4種類の生体情報データを組み合わせたデータから特徴を抽出し、ニューラルネットワークによる学習を行った。その結果、3感情状態に対する推定精度を61.5％まで向上させることに成功した。
これは脳波を用いて感情状態の推定を行った研究に匹敵する精度であり、眼球運動データによる感情状態の推定が有効であることを示すものである。
結論
本研究は生体情報データを用いてNNの学習を行うことによって、静止画観賞時の3感情状態に対して61.5％の推定精度を得ることが出来た。これは、偶然性の33.3％よりも高い推定精度である。また、人間自身も話し相手感情状態を声や話し方などから約60％、表情から約70〜98％の確率で識別していると言われ、さらに、人間は自身の感情状態でさえも確実に把握できていない。これらの点を考慮すれば本研究において得られた推定精度もかなり高いと考えられる。
この実験結果を受けて本論文では静止画観賞時の感情状態を推定する手法の提案を行い、さらに映像視聴時の感情状態を推定する手法への応用についても考察を行った。本研究で提案する静止画観賞時の感情状態推定手法は、実験によって獲得した眼球運動、指尖容積脈波、皮膚電気活動、呼吸、脈拍数のデータから有用な特徴を抽出し、それによってNNを学習することで感情状態推定モデルを構築する。実際に使用する場合は、感情状態推定モデルの構築と同じ生体情報データから同様の手順で抽出した特徴を、感情状態推定モデルに入力する。感情状態推定モデルでは、入力されたデータのパターンがどの感情状態のパターンであるかの分類が行われ、その結果が調査対象の人間に生起した感情状態であると推定されるものである。
展望
本研究は静止画観賞時の感情状態推定手法を提案した。本研究では眼球運動データ、指尖容積脈波データ、皮膚電気活動データ、呼吸データを組み合わせることにより、静止画観賞時の感情状態を推定することが可能であるとの示唆を得ることが出来た。これを発展させ、分類可能な感情状態を快感情状態、中立状態、不快感情状態の3つからより多様な感情状態へ増やすことによって映像視聴時の感情状態を推定するシステムを提案など多くの分野への適用が可能であると考えられる。
また、本研究では被験者を比較的若い男性に限った実験によって獲得したデータを用いて感情状態推定モデルを構築したが、女性や子供、高齢者など他のカテゴリに属する人間に対しても有効であるかを検証する必要がある。
本研究では3感情に対して61.5％の比較的高い推定精度を得ることが出来た。今回用いた生体情報データから更に有効な特徴量を抽出することによって推定精度を更に向上することも可能であると考えられる