■研究成果の概要

2010年度において，倉林研究室（IMEL: Interactive Multimedia Enverimental Laboratory）では，動画像・音楽マルチメディアデータを対象とした検索・可視化・個人化システムの研究として，動画像検索エンジン，音楽検索エンジン，e-Books検索エンジン，スマートフォン専用のサーチエンジンへのクエリ入力支援機構を開発してきた．本研究成果である動画像・音楽対象感性分析は，「感性」という全く新しい視点からのコンテンツ流通を実現する“感性時系列メディア・ハブ機構”において，Web上に拡大する動画像，音楽データ，および，Webカメラ，スマートフォン内蔵カメラから獲得されるライブ動画像を対象とし，それらを多様なコンテキストを持つ時系列メディアデータとして捉え，印象特徴量分析による感性的コンテキストの自動抽出を行うものである．特筆すべき活動として，米国カリフォルニア大学サンディエゴ校(UCSD) Shlomo Dubnov准教授，米国ワシントン大学ボセル校Munehiro Fukuda准教授，スロベニア・リュブリャナ大学Ana Šaša博士，マルチメディア感性検索・自動配信システムの共同研究を行い，国際的研究ネットワークの構築，および，感性メディア分析・検索・配信の実利用環境を実現した．

■2010年度の活動報告

受賞

動画像・音楽マルチメディアデータを対象とした検索・可視化・個人化システムの研究に関する具体的なソフトウェア実装として，動画像・音楽データ対象アクティブ・感性マルチメディア配信を実現するシステム・ソフトウェア“MediaMatrix”を構築し，データベース分野における著名な国際学会であるDASFAA 2010（The 15th International Conference on Database Systems for Advanced Applications）において、Best Demo Awardを受賞し，国際的に高い評価を得た．

本システムは，動画像における時間軸に沿った色彩印象の推移を反映したメタデータ生成のために，動画像を任意秒数ごとの静止画像として抽出し，それら静止画像群を対象として，映像中の色彩情報を用いて感性特徴量を分析する機能を実現した．この感性特徴量分析機能では，印象を分析する時間的区間を表す単位時間の粒度を設定し，動画像における局所的な印象の変化（図1），および，大局的な印象の変化（図2）を，任意の粒度を用いて抽出することができ，動画像における感性的特徴点を抽出することが出来る．本システムは，これまで，感性的な視点からの情報獲得が困難であったストーリー性を有する時系列メディアデータを対象として，自動的な情報獲得を実現し，今後大量に蓄積される時系列メディアデータを対象として，個人の感性的嗜好に合致する対象の選択的自動配信環境を実現する，新しいメディア情報獲得・集約の可能性を広げるシステムとして位置付けることができる．

動画像ストリーム全体において支配的な印象特徴量の時系列変化を可視化

図1. 動画像ストリーム全体において支配的な
印象特徴量の時系列変化を可視化

動画像ストリームの特定箇所において局所的に強い相関を示す印象特徴量の時系列変化を可視化

図2. 動画像ストリームの特定箇所において局所的に
強い相関を示す印象特徴量の時系列変化を可視化

実現システム

ネットワーク上の時系列メディアデータを収集し，時間軸に沿った印象の変化を検出し，迅速なデータベース検索および分析機能群を起動し，自動情報配信を行うアクティブDB機能を構築した．本システムは，次の3機能を特徴としている：　機能1．既存の情報資源群を変更することなく広域的なアクティブDBシステム環境へ連結する機能，機能2．既存のマルチメディアデータベースを対象としてクエリ生成演算子を適用し，マルチメディアデータを組み合わせて，自らの検索意図を的確に反映した時系列メディア・クエリを生成する機能，機能3．時系列的な感性的内容を自動的に分析し、アクティブDBにおける検索機能、情報配信機能を駆動する機能．さらに，コンテンツ印象変化の可視化技術の開発として，大量の動画を対象とした感性分析・可視化機構の設計，実装を行った．さらに，ネットワーク上で複数の利用者が，自らの感性定義に応じて，メディアデータを分析・検索するためのWebサービスを公開し，慶應義塾大学SFCにおいて運用している(http://imelab.sfc.keio.ac.jp/MediaMatrixShare/)．本システムは，動画検索サイトにおける各利用者の視聴履歴と感性メタデータとの連結により，各利用者に固有の感性的嗜好を抽出し，「ユーザが好むストーリーの流れ」や、「多くのユーザが連続して視聴する動画の並び」のような，新しい視点からの情報推薦を実現する．本技術は，各利用者の感性的嗜好を抽出した感性ポートフォリオを個人化感性空間として構築し，感性ポートフォリオを対象とした情報配信・推薦機構を実現し，動画・音楽データのみならず，広告や関連商品など，幅広い情報を配信可能とする（図2）．本システムは，利用者毎に異なる色彩印象定義ファイル（色彩と印象語の関連性を定義するテーブルファイル）を格納し，利用者個人の感性に応じたメタデータ生成をオン・ザ・フライで行い，検索する．本システムを用いて、数百件の動画像データベース（各20分、全400万フレーム）を対象とした感性的嗜好に合致する対象の選択的自動配信環境を実装し、有効性の評価を行った．

利用者のメディアデータの視聴履歴，および，利用者が有するメディアデータ群をコンテクストとして，各利用者に対応する個人化感性空間を生成し，利用者の感性的嗜好に応じた検索対象の自動分析，および，関連性計量を実現

図3．利用者のメディアデータの視聴履歴，および，利用者が有するメディアデータ群をコンテクストとして，各利用者に対応する個人化感性空間を生成し，利用者の感性的嗜好に応じた検索対象の自動分析，および，関連性計量を実現

■主要な学術的成果

  1. Shuichi Kurabayashi, Shlomo Dubnov and Yasushi Kiyoki: "JoinSee: A Real-Time and Collaborative Hyper-Media System for Participatory Performances in the Opera of Meaning," Information Modelling and Knowledge Bases Vol. XXI, IOS Press, pp.258-262, 2010.
  2. Ana Šaša, Marjan Krisper, Yasushi Kiyoki, Shuichi Kurabayashi, and Xing Chen, "A personalized recommender system model using a colour-impression-based image retrieval and ranking method," In Proceedings of the Sixth International Conference on Internet and Web Applications and Services (ICIW 2011), St. Maarten, Netherlands, March 20-25, 2011.
  3. Haruka Fukai, Aya Ichinose, Shuichi Kurabayashi, and Yasushi Kiyoki, "A Media-Mashup Engine with Interactive Cross-Media Association and Personalization Mechanisms,” In Proceedings of the IASTED International Symposium on Software Engineering and Applications, pp.396-403, November 8-10, Marina del Rey, California, USA, 2010.
  4. Munehiro Fukuda, Shuichi Kurabayashi, Jeremy K. Hall, and Yasushi Kiyoki, "Morphing Parallelization Strategy to Support On-the-Fly Video Analysis," In Proceedings of the 2010 International Conference on Parallel and Distributed Processing Techniques and Applications - PDPTA 2010, pp.541-547, Las Vegas, USA, July 12 - 15, 2010.
  5. Jeremy Hall, Shuichi Kurabayashi, and Yasushi Kiyoki: "Multimedia Data Analysis on a Massively Distributed Parallelization Network of Anonymous Web Clients," The 2010 IEEE International Symposium on Mining and Web (MAW10), pp.615-620, Perth, Australia, April 20-23, 2010.
  6. [Best Demo Award] Shuichi Kurabayashi and Yasushi Kiyoki: "MediaMatrix: A Video Stream Retrieval System with Mechanisms for Mining Contexts of Query Examples," In Proceedings of the 15th International Conference on Database Systems for Advanced Applications (DASFAA2010), pp.452-455, Tsukuba, Japan, April 1-4, 2010.
  7. 小池 悠佳, 倉林 修一: "エディトリアル・デザインに関するテンプレートを用いたクエリ入力支援機能を有するe-Books検索エンジン," 第3回データ工学と情報マネジメントに関するフォーラム(DEIM2010), 2011年2月27日～3月1日, 静岡県.
  8. 島岡 諒, 倉林 修一: "タブレット端末を対象とした複合検索語ナビゲーション機能を有するタイピング・フリー検索機構," 第3回データ工学と情報マネジメントに関するフォーラム(DEIM2010), 2011年2月27日～3月1日, 静岡県.
  9. 市瀬 綾, 倉林 修一, 清木 康: "時系列印象変化抽出機構による音楽検索データベースシステムの実現," 第3回データ工学と情報マネジメントに関するフォーラム(DEIM2010), 2011年2月27日～3月1日, 静岡県.
  10. 加嵜 長門, 倉林 修一, 清木 康: "学習者の状況・嗜好に応じた教材配信機能を有する体験連動型マルチリンガル外国語e-Learningシステム," 第3回データ工学と情報マネジメントに関するフォーラム(DEIM2010), 2011年2月27日～3月1日, 静岡県.
  11. 小松 万里子, 倉林 修一, 清木 康: "色彩に応じたレシピ検索・共有ソーシャルコミュニティ・システム," 第3回データ工学と情報マネジメントに関するフォーラム(DEIM2010), 2011年2月27日～3月1日, 静岡県）.
  12. 石井 千賀, 倉林 修一, 清木 康: "文書印象表現単語とフォントの感性的相関量計量による動的文書装飾システム," 第3回データ工学と情報マネジメントに関するフォーラム(DEIM2010), 2011年2月27日～3月1日, 静岡県.

外部資金獲得

  1. 研究代表者: 倉林 修一, 総務省 戦略的情報通信研究開発推進制度 (Ministry of Internal Affairs and Communications (MIC), SCOPE: Strategic Information and Communications R&D Promotion Programme) 若手ICT研究者育成型研究開発, "動画像・音楽メディアを対象とした印象分析・可視化・配信のための感性時系列メディア・ハブ機構の研究開発", 2010-2012年度.

特許申請・取得

  1. 特許取得, 鷹野 孝典, 吉田 尚史, 倉林 修一: 特許第4668347号, "情報サービス提供システム、情報サービス情報提供装置およびその方法," 登録日：平成23年1月21日, 出願日：平成21年3月5日, 特願2009-545027, 国際出願番号：PCT/JP2009/054140, 国際公開番号：WO/2010/100735.
  2. 特許取得, 吉田 尚史, 鷹野 孝典, 倉林 修一: 特許第4614373号, "画像表示システム、画像表示装置、画像提供装置およびその方法," 登録日：平成22年10月29日, 出願日：平成21年3月17日, 特願2009-545025, 国際出願番号：PCT/JP2009/055108, 国際公開番号：WO/2010/106632.
  3. 特許取得, 吉田 尚史, 鷹野 孝典, 倉林 修一: 特許第4573910号, "画像表示システム、画像表示装置、画像提供装置およびその方法," 登録日：平成22年8月27日, 出願日：平成21年3月17日, 特願2009-545030, 国際出願番号：PCT/JP2009/055107, 国際公開番号：WO/2010/106631.
  4. 特許査定済, Kosuke Takano, Naofumi Yoshida, Shuichi Kurabayashi: "Image Capturing System, Image Capturing Apparatus, and Image Capturing Method," U.S. Patent Publication No. US 2010/0231750 A1, U.S. Patent Application No. 12/568,188 (based on JP 2009-060544).
  5. JP出願, 角田 史記, 斎藤 武, 清木 康, 倉林 修一: "コンテンツ選択装置、コンテンツ選択方法," 出願日：平成22年11月16日, 特願2010-255933.
  6. JP出願, 倉林 修一, 吉田 尚史, 鷹野 孝典: "情報処理装置およびプログラム," 出願日：2010年10月04日, 特願2011-505308, 国際出願番号：PCT/JP2010/67337.
  7. PCT出願, Shuichi Kurabayashi, Naofumi Yoshida, Kosuke Takano: "Augmented Reality System," 出願日： 2 December 2010, 国際出願番号： PCT/US2010/058675.