■研究成果の概要

2011年度において,倉林研究室(IMEL: Interactive Multimedia Enverimental Laboratory)では,動画像・音楽マルチメディアデータを対象とした検索・可視化・個人化システムの研究として,動画像検索エンジン,音楽検索エンジン,e-Books検索エンジン,スマートフォン専用のサーチエンジンへのクエリ入力支援機構を開発してきた.本研究成果である動画像・音楽対象感性分析は,「感性」という全く新しい視点からのコンテンツ流通を実現する“感性時系列メディア・ハブ機構”において,Web上に拡大する動画像,音楽データ,および,Webカメラ,スマートフォン内蔵カメラから獲得されるライブ動画像を対象とし,それらを多様なコンテキストを持つ時系列メディアデータとして捉え,印象特徴量分析による感性的コンテキストの自動抽出を行うものである.特筆すべき活動として,米国カリフォルニア大学サンディエゴ校(UCSD) Shlomo Dubnov准教授,米国ワシントン大学ボセル校Munehiro Fukuda准教授,スロベニア・リュブリャナ大学Ana Šaša博士,マルチメディア感性検索・自動配信システムの共同研究を行い,国際的研究ネットワークの構築,および,感性メディア分析・検索・配信の実利用環境を実現した.

■2011年度の活動報告

受賞

本システムはWebインターフェイスを通じて学習者のモバイル端末からGPSの位置情報を取得する。次に,システムはその位置情報と現在時刻に応じて、学習者の体験を表現するキーワードをデータベースから取得する。例えば、大学構内にいる場合は,「大学」などのキーワードを抽出し、ショッピングセンターにいる場合は、「買い物」などのキーワードを抽出する。カーナビなどで用いられるデジタル地図を用いることにより、GPSの位置情報から,これらのキーワードを抽出することができる。最後に、システムはその体験キーワードと相関のある教材をデータベースから取得し、Webインターフェイスを通じて学習者に配信する。配信教材データは、テキスト、音声、静止画、動画等さまざまな形で保存され、機能別に細分化・分類されて、データベースとして蓄積されている。コンテンツとしては、あらかじめ準備された教材データの配信のほか、外部の検索サイトと関連させた形で他のデータを配信することも可能である。

■主要な学術的成果

  1. Ana Šaša, Yasushi Kiyoki, Shuichi Kurabayashi, Xing Chen, Marjan Krisper, "A Service-Oriented Framework for Personalized Recommender Systems Using a Colour-Impression-Based Image Retrieval and Ranking Method," Information Modelling and Knowledge Bases XXIII, IOS Press, pp.59-76, 2012.
  2. Aya Ichinose, Shuichi Kurabayashi, and Yasushi Kiyoki, "A Context-Based Emotion-Analyzer for Teaching Tonality in Music Courses," In Proceedings of the IASTED International Symposium on Technology for Education, pp.37-45, December 14 – 16, Dallas, USA, 2011.
  3. [Best Student Paper Award] Nagato Kasaki, Shuichi Kurabayashi, and Yasushi Kiyoki, "An Experience-Connected e-Learning System with a Personalization Mechanism for Learners Situations and Preferences," In IES 2011-Emerging Technology for Better Human Life, pp.118-123, EEPIS-Surabaya, Indonesia, October 26, 2011.
  4. Ana Šaša, Yasushi Kiyoki, Shuichi Kurabayashi, Xing Chen, Marjan Krisper, "A Service-Oriented Framework for Personalized Recommender Systems Using a Colour-Impression-Based Image Retrieval and Ranking Method," In Proceedings of the 21st European - Japanese Conference on Information Modelling and Knowledge Bases (EJC 2011), Tallinn, Estonia, June 6-10, 2011.
  5. 藁谷 郁美, 太田 達也, マルコ ラインデル, 倉林 修一: "インフォーマル・ラーニングを支援するユビキタス外国語学習環境の構築," 日本教育工学会研究報告集 JSET(11-4), pp.189-194, 2011年10月29日, 島根県.
  6. 加嵜 長門, 倉林 修一, 清木 康: "学習者の状況・嗜好に応じた教材配信機能を有する体験連動型マルチリンガル外国語e-Learningシステム," 教育システム情報学会研究報告, Vol.26, No.2, pp.41-48, 2011-07.
  7. 倉林 修一, 清木 康: "時系列色彩分析機能による動画像印象ソーシャルタギング," 電子情報通信学会技術研究報告, Vol.111, No.76, DE2011-25, PRMU2011-56 (2011-6) pp.137-142, 2011年6月6日~2011年6月7日, 神奈川県.
  8. 浦木 麻子, 倉林 修一, 清木 康: "楽曲時系列印象データの階層的粒度構造化による楽曲要約メタデータ生成方式," 第4回Webとデータベースに関するフォーラム(WebDB Forum 2011), 8 pages, 2011年11月4日~5日, 東京都.

外部資金獲得

  1. 研究代表者: 倉林 修一, 日本学術振興会 科学研究費補助事業(学術研究助成基金助成金) (Japan Society for the Promotion of Science (JSPS), Grants-in-Aid for Scientific Research (KAKENHI)), 若手研究(B), "Web動画像・音楽メディアを対象とした感性自動分析・個人化・配信システムの実現", 課題番号:23700128, 2011-2012年度.

特許申請・取得

  1. US Patent (granted), Naofumi Yoshida, Kosuke Takano, Shuichi Kurabayashi: "Image Display system, Image Display Apparatus, Image Providing Apparatus and Method Thereof," Publication Date: May 10, 2011, Publication No.: 20110058046, Application No.: 12/665,295, Filing Date: December 17, 2009 (based on PCT/JP2009/055108, WO/2010/106632).
  2. US Patent, Naofumi Yoshida, Kosuke Takano, Shuichi Kurabayashi: Patent Number: 8,013,866, "Image display system, image display apparatus, image providing apparatus and method thereof," Date of Patent: 9/6/2011, Application No. 12/665,153, Publication Date: 3/3/2011, Filing Date: 3/17/2010, Publication No.: 20110050717 (based on PCT/JP2009/055107, WO/2010/106631).
  3. US Patent, Kosuke Takano, Naofumi Yoshida, Shuichi Kurabayashi: Patent Number: 7,975,284, "Image Capturing System, Image Capturing Apparatus, and Image Capturing Method," Date of Patent: 7/5/2011, Application No. 12/568,188, Filing Date: 9/28/2009 (based on JP 2009-060544).
  4. PCT Application, Shuichi Kurabayashi, Naofumi Yoshida, Kosuke Takano: "GEOLOCATION-BASED LOAD BALANCING," (International Application: PCT/US2012/026521, February 24, 2012).
  5. PCT Application, Shuichi Kurabayashi, Naofumi Yoshida, Kosuke Takano: "AUTOMATIC PRIVACY MANAGEMENT FOR IMAGE SHARING NETWORKS," (International Application: PCT/US2011/065575, December 16, 2011).
  6. PCT Application, Shuichi Kurabayashi, Naofumi Yoshida, Kosuke Takano: "CONTENT-BASED AUTOMATIC INPUT PROTOCOL SELECTION," (International Application: PCT/US2011/064453, December 12, 2011).
  7. US Application, Shuichi Kurabayashi, Naofumi Yoshida, Kosuke Takano: "PROCESS MANAGEMENT IN A MULTI-CORE ENVIRONMENT," Filing Date: Feburary 2, 2012, Application No.: 13/388,663, (International Application: PCT/US2011/040599, June 16, 2011).
  8. PCT Application, Shuichi Kurabayashi, Naofumi Yoshida, Kosuke Takano: "PEAK-PERFORMANCE-AWARE BILLING FOR CLOUD COMPUTING ENVIRONMENT," (International Application: PCT/US2011/040368, June 14, 2011).
  9. US Application, Shuichi Kurabayashi, Naofumi Yoshida, Kosuke Takano: "FLAT RATE PRICING WITH PACKET-FREQUENCY AWARE BILLING SYSTEM FOR MOBILE BROADBAND COMMUNICATION," Filing Date: May 3, 2011, Application No.: 13/127,301 (based on PCT/JP2010/67337, October 4, 2010).
  10. US Application, Shuichi Kurabayashi, Naofumi Yoshida, Kosuke Takano: "AUGMENTED REALITY SYSTEM," Filing Date: June 15, 2011, Application No.: 13/139,819, (International Application: PCT/US2010/058675, December 2, 2010).