2011年度において,倉林研究室(IMEL: Interactive Multimedia Enverimental Laboratory)では,動画像・音楽マルチメディアデータを対象とした検索・可視化・個人化システムの研究として,動画像検索エンジン,音楽検索エンジン,e-Books検索エンジン,スマートフォン専用のサーチエンジンへのクエリ入力支援機構を開発してきた.本研究成果である動画像・音楽対象感性分析は,「感性」という全く新しい視点からのコンテンツ流通を実現する“感性時系列メディア・ハブ機構”において,Web上に拡大する動画像,音楽データ,および,Webカメラ,スマートフォン内蔵カメラから獲得されるライブ動画像を対象とし,それらを多様なコンテキストを持つ時系列メディアデータとして捉え,印象特徴量分析による感性的コンテキストの自動抽出を行うものである.特筆すべき活動として,米国カリフォルニア大学サンディエゴ校(UCSD) Shlomo Dubnov准教授,米国ワシントン大学ボセル校Munehiro Fukuda准教授,スロベニア・リュブリャナ大学Ana Šaša博士,マルチメディア感性検索・自動配信システムの共同研究を行い,国際的研究ネットワークの構築,および,感性メディア分析・検索・配信の実利用環境を実現した.
- 成果1: H22年度に実現した動画像・音楽データ対象アクティブ・感性マルチメディア配信を実現する統合システム・ソフトウェア“MediaMatrix”を拡張し,WiFi接続された10台以上のタブレット端末からリアルタイムに撮影される動画像を対象として,感性特徴量に応じた大規模ライブ動画像・音楽メディア配信機構を実現した(開発目標④).
- 成果2: 具体的に得られたデータとして,1,680件の感性メタデータ(内訳:30曲×56セクション=1,680感性メタデータ)を生成した.さらに,有識者による当該感性メタデータの評価として,10,080件の評価データ(内訳:1,680感性メタデータ×2指標×3回=10,080評価データ)により,本システムにより生成された感性メタデータの実現可能性評価を行った.
- 成果3: 本システム実現に関する学術的成果として,1件の国際論文誌発表(査読有り),3件の国際学会発表(査読有り),1件の国内学会発表(査読有り),1件の国内学会投稿(査読無し)を行った.さらに,現在,3件の国際学会論文が査読中である.特筆すべき成果として,本研究課題の研究補助員である加嵜長門が,国際学会IES 2011において,実現したシステムのe-Learning分野への応用に関する発表を行い,Best StudentPaper Awardを受賞した.また,国内外における本研究開発の位置づけとして,MediaMatrixシステムは,情報処理学会創立50周年を記念して刊行された冊子「情報処理学会50年のあゆみ」において,時間的内容変化を伴うメディアを対象としたマルチメディアデータベースの研究事例として紹介され,広く認知された.
- 成果4:スロベニア・リュブリャナ大学のAna Šaša博士との間での感性時系列メディア・ハブの共同研究として,具体的なシステム構築を行い,1件の国際論文誌発表(査読有り),および,1件の国際学会発表(査読有り)を行った.