2008年度森基金研究成果報告

携帯メールにおける絵文字の音声復元補助機能について

政策メディア研究科修士課程1年
久保田ひろい
miroi@sfc.keio.ac.jp

研究概要

本研究の目的は、携帯メール絵文字のイントネーション復元補助機能を解明することにある。言語の音響的特性であるイントネーションは文法的機能、態度的機能、談話的機能といったコミュニケーションにおいて重要な機能を担っている(A. Cruttenden, 1997)。絵文字は、送信者の感情や特定のものを表すシンボルとしての機能を担うものであるが、それだけではなくメールのような音響的特性が欠如したコミュニケーションにおいて、音響的特性を補う役割を果たしている。修士研究では、「メール絵文字は携帯の画面上の「文字」を音声に再変換して認知する際に、イントネーションを復元するという重要な機能を担っているのではないか」という仮説に基づき、絵文字の「イントネーション復元機能」に焦点を当て、パラ言語レベルで絵文字がどのようにコミュニケーションに寄与しているのかを解明するものとする。

研究のための方法としては、メールの音読の音声解析によって得た周波数スペクトルのデータ分析によるアプローチ(実験I)と、メールの音読の認知的評価を問うアンケート調査による認知心理学的視点からのアプローチ(実験II)により、絵文字のイントネーション復元補助機能の解明を目指す。実験Iでは、被験者に同じメール内容を絵文字アリ/ナシで発話してもらったものを録音し、音声データの解析により、絵文字の有無よりイントネーションにどのような差が出るかを比較する。実験IIでは、実験Iとは別の被験者に実験Iで録音したものを聞いてもらい、どのような印象を受けるか(あたたかい−つめたい/やからかい−かたい)アンケートに答えてもらう。

予備実験分析

  1. 予備実験概要
  2. 予備実験は、7月中旬に実施したもので、被験者数は大学生・大学院生を中心に12人(男性5人、女性7人)である。場所は、τ21、ι307を使用し、実験者のPC(VAIO VGN-TZ71B)を使用し、録音ソフトはAudacity、マイクは被験者のやりやすさを考慮し、スタンドマイクを使用した。 携帯電話(au)上に17のメール文書を絵文字アリ/ナシの2パターン、計34個のメール文書を刺激として表示し、それを被験者に音読させるという方法で、メール音読の音声を録音したものである。

  3. 特徴量の抽出
  4. 収録した発話計408発話について、wavesurferを用いて基本周波数(F0)の抽出を行い、特徴量の検討を行った。wavesurferは、相関法によって求められた複数のF0候補を用いて、動的計画法を用いた後処理を行うRAPT(a Robust Algorithm for Pitch Tracking)というアルゴリズムによりF0の抽出を行うソフトウェアである。音声データ計408発話について、F0max, F0min, F0average, F0median, F0range および、dBmax, dBmin, dBaverage, dBmedian, Durationをそれぞれ求め、それぞれについて絵文字の有無により有意差が出るかを検定した。

  5. 結果と考察
  6. 絵文字アリナシの発話のF0averageについて、有意差が認められ(p=0.00033)、絵文字の効果が示唆された。しかし、男性では有意差は見られず、これは文章や絵文字が女性的で男性に対応したものではなかったことが原因の一つとして考えられる。今後の課題としては、音節単位、モーラ単位での解析、パワーによる重みづけ、終助詞による違いの考慮などがあげられる。

絵文字認知実験

  1. 絵文字認知実験概要
  2. これは、認知科学ワークショップの一環として行ったもので、絵文字単独の認知と、メール文書中の絵文字の認知はどのように異なるか?という点に関して検証するために、オンライン実験システムを利用した心理実験である。 実施期間は11月27日〜12月2日で、被験者は認知科学ワークショップの履修生が依頼した大学生42名である。

  3. 実験
  4. au(全497種類)、docomo(全252種類)の絵文字から使用頻度調査アンケートなどを参照して選んだ各50個の中から、実験に使用する絵文字を履修者が選び、その絵文字を使用したメール文章を作成した。 連想実験用のオンラインシステムを改変したシステムを構築し、絵文字、メール文書+絵文字、メール文書のみの三種類を刺激としてランダムに提示し、それぞれの刺激に対し、絵文字あるいはメール文からどのような印象を受けるか、感情や感性、情緒に関する単語や短い語句で、できるだけ多くの言葉を連想して入力するよう指示した。

  5. 結果・考察
  6. 連想頻度と連想順位から算出した連想距離から刺激と連想語との関連度(0

学会発表

  • 認知言語学会全国大会(名古屋大学、2008/09/13)「上昇調のイントネーションの言語変化に見る上昇調の機能拡張について」
  • VNV研究会(京都大学、2008/12/24)「イントネーションの創造力:語尾上げ口調は何故多用されるのか?」

参考文献

  1. 藤江真也. “肯定的/否定的発話態度の認識とその音声対話システムへの応用” 電子情報通信学会論文誌, D-2 Vol. J88-D-2, No. 3, 489-498. 2005.
  2. 石井カルロス寿憲. “韻律情報および声質を表現した音響特徴と対話音声におけるパラ言語情報の知覚との関連” 情報処理学会論文誌, Vol. 47, No.6, 1782-1792. 2006.
  3. --------. “対話音声における韻律と声質の特徴を利用したパラ言語情報の抽出の検討” 人口知能学会AIチャレンジ研究会. Vol.22. 71-76.
  4. 小林聡. “日本語の自然対話音声におけるパラ言語的特徴の検討” 日本音響学会誌. Vol.56, No.7, 467-476. 2000.
  5. 前川喜久雄. “音声はパラ言語情報をいかに伝えるか” 認知科学. Vol.9. No. 1. 46-66. 2002.