2009年度 スポーツ映像を対象とした感性データベースによる運動特性分析・デザインシステム
研究成果報告

• 研究課題名： スポーツ映像を対象とした感性データベースによる運動特性分析・デザインシステム
• 研究代表者
  • 環境情報学部 教授 清木 康
  • 環境情報学部 教授 徳田英幸
  • 環境情報学部 教授 諏訪正樹

■本プロジェクトの背景および目的

本研究は、10年間にわたって開発を行った感性データベースシステムの新しくかつ大規模な応用として、感性データベースシステムをスキルサイエンス分野におけるスポーツ映像分析・デザインに適用する“感性的運動特性分析・デザインシステム”の構築を行うものである。本研究では、“スキルサイエンス、スポーツ工学、ユビキタス・コンピューティング技術、データベース技術、および、インタラクティブ・メディア技術の連結によるスポーツ映像を対象とした運動特性検索・分析・自動配信システム環境”という新しいスキルサイエンス・データベース・システムの研究領域を、SFCにおける分野横断的共同研究として開拓する。本システムは、スポーツ映像を対象とし、感性的メディア分析技術を用いた映像の感性的特徴の抽出を行い、ユーザの興味・関心に適合する映像の選択的抽出と、それらに対応する自動的なメディア・デザインと利用者への自動的配信を行うスキルサイエンスDBシステムとして機能する。本研究は、(1)感性データベース技術（清木）、(2)スポーツ運動者の状況を動的に把握するユビキタス・コンピューティング（徳田）、(3)スポーツ映像・センサデータを分析するスキルサイエンス（諏訪）の３者による共同的設計によりシステムを構築するものであり、SFCにおけるプログラムを越えた技術を連結する共同研究型体制によって推進可能な新しい研究領域の開拓を目指すものである。

■2009年度の活動報告

本システムの特徴は、(a) 利用者の運動特性的関心に応じてネットワークから動画データの自動抽出・配信を行うこと、(b) 利用者の視点や動機に応じて運動特性・感性的特性の属性を選択し、計量空間によって計量すること、そして、(c)利用者の視点に合致する動画像を対象としたを内容分析を行い、分析結果を可視化することにある。本研究は、これらのスキルサイエンスにおけるスポーツ映像データベース・システムの構築に加え、利用者によって指定された視点に応じて、データベース内に存在する動画像の特徴と、利用者の指定した検索条件との意味的な関係を視覚的かつ定量的に表現した分析ツールを実現し、動画像のデータベースにおけるメタデータの設定・管理、および、利用者への自動的な提示における新しい映像分析・鑑賞環境を構築した。さらに、本研究の成果として、マルチメディアデータを自動的に検索・分析し、利用者の興味・関心に合致する情報を抽出・配信・可視化するデータベースシステムMediaMatrixを構築し、発表した [9][13][15][16][17]。

１．招待講演

本研究が実現する"感性データベースによる運動特性分析・デザインシステム"は、新しい時代のメタ認知支援環境を実現するプラットフォームを目指すものである。この新しい形態の感性データベースシステムについての招待講演を，2009 Asia Pacific Academic Delegation: Microsoft Research Faculty Summitにて行った．また、下記の3件の招待講演、及び、キーノートスピーチを行った。

• Yasushi Kiyoki: “Invited Talk: A Semantic and ”Kansei” Computing System for Analyzing Global Environments”, 2009 Asia Pacific Academic Delegation, Microsoft Research Faculty Summit, Redmond, WA, USA, July 13-15, 2009.
• Yasushi Kiyoki: “Invited Talk: A Cross-Cultural Multimedia System for Joint Research Environments between Thailand and Japan”, NECTEC Annual Conference and Exhibitions 2009, Thailand Science Park, Thailand, Sept. 23-25,, 2009.
• Yasushi Kiyoki: “Keynote Speech: Future Directions on Multimedia Knowledge Base Systems with Semantic Associative Search and Analysis: A ”Kansei” Approach to Image, Music and Video Databases by the Mathematical Model of Meaning (MMM) ”, National Database Conference 2009, Nanchang, China, Oct. 15-18, 2009.

２．国際学会・国際ワークショップ主催

研究代表者は、2009年度において、下記の感性データベースシステムに関連する国際会議・ワークショップの開催5件を行い，さらに、フィンランドのタンペレ工科大学（Tampere University of Technology）およびユバスキュラ大学（University of Jyuvaskyla）との連携を行った．

• Yasushi Kiyoki: “THE EUROPEAN-JAPANESE CONFERENCE ON INFORMATION MODELLING AND KNOWLEDGE BASES (EJC2009)”, 主催，プログラム委員長, Maribor, Slovenia, June 1-5, 2009.
• Yasushi Kiyoki: “KEIO SFC-NECTEC-Maejo University Joint Workshop On Ubiquitous Cross-Cultural Multimedia Systems for Mobile Computing Societies and Digitized Thailand”, 主催, Faculty of Environmental Information, Keio University, April 8th - 13th, 2009.
• Yasushi Kiyoki: “The 1st JAPAN-FINLAND Workshop on Ubiquitous Cross-Cultural Multimedia Systems for Mobile Computing Societies”, 主催, Keio University, Mita, Japan, Jan. 11-16, 2009.
• Yasushi Kiyoki: “The 2nd JAPAN-FINLAND Workshop on Ubiquitous Cross-Cultural Multimedia Systems for Mobile Computing Societies”, 共催, Pori, Finland, March 23rd - 27th, 2009.
• Yasushi Kiyoki: “The 3rd JAPAN-FINLAND Workshop on Ubiquitous Cross-Cultural Multimedia Systems for Mobile Computing Societies”, 主催, Keio University, SFC, Japan, Sep. 29th, 2009.

３．実現システム

具体的な実証実験として，運動特性分析・デザイン応用システム設計・構築，および， 鑑賞者・分析者の文脈、状況把握およびそれに合致する運動特性分析・デザインシステムの設計・構築を行い，運動特性分析・デザインシステムのプロトタイプシステムを実現した．具体的には、以下の4項目を実行した。

1. 装飾メディア応用システム設計、構築：
   • (基本設計)　基本方式設計，および実現，評価，応用方法の設計：　動画像データ対象を対象とした感性分析による映像検索システム環境の基本設計，実現方法，評価方法，および，応用方法の設計を行う。
   • （A-1)スポーツ映像応用システム設計1：　感性分析機能を有する映像鑑賞環境設計、構築。
   • （A-2)スキルサイエンス応用システム設計２：　センサデータストリームを対象とした感性計量システムを適用し、感性的特徴に合致する運動パタンを自動選択するシステムの実現。
2. 鑑賞者の文脈、状況把握およびそれに合致する動的装飾メディアの設計、構築：　
   • (B-1)　ユビキタスコンピューティング技術により、自動的に、運動者の状況および表現ディスプレイの状況を把握、認識し、その状況に合致するスポーツ映像、アングルの選択、表示機能の設計、構築。
   • (B-2)　ユーザの状況、文脈の獲得、蓄積、感性的計量方法のシステム化および実装。

プロトタイプシステムの実装と実証実験の実施

■主要な学術的成果

1. Minoru Kawamoto and Yasushi Kiyoki: “Domain Specific Knowledge Space Creation Process for Semantic Associative Search”, Information Modelling and Knowledge Bases, Vol. XX, pp.253-260, May, 2009.
2. Shiori Sasaki, Yoshiko Itabashi, Yasushi Kiyoki and Xing Chen: “An Image-Query Creation Method for Representing Impression by Color-based Combination of Multiple Images”, Information Modelling and Knowledge Bases, Vol. XX, pp.105-112, May, 2009
3. Marie Duzi, Anneli Heimburger, Takehiro Tokuda, Peter Vojtas and Naofumi Yoshida: “Multi-Agent Knowledge Modelling”, Information Modelling and Knowledge Bases, Vol. XX, pp.411-428, May, 2009.
4. Shlomo Dubnov and Yasushi Kiyoki: “Opera of Meaning: film and music performance with semantic associative search”, Information Modelling and Knowledge Bases, Vol. XX, pp.384-391, May, 2009.
5. Yusuke Takahashi and Yasushi Kiyoki: “A Metalevel Database System for Personal Career Opportunity Analysis by Connecting Occupational and Educational Databases”, Information Modelling and Knowledge Bases, Vol. XX, pp.270-289, May, 2009.
6. Ali Ridho Baracbah and Yasushi Kiyoki: “An Image Database Retrieval System with 3D Color Vector Quantization and Cluster-based Shape and Structure Features”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
7. Yasuhiro Hayashi and Yasushi Kiyoki: “An Image-Query Creation Method for Expressing User’s Intentions by Combining Multiple Images”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
8. Shiori Sasaki, Yusuke Takahashi and Yasushi Kiyoki: “The 4D World Map System with Semantic and Spatio-temporal Analyzers”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
9. Shuichi Kurabayashi, Shlomo Dubnov and Yasushi Kiyoki: “JoinSee: A Real-Time and Collaborative Hyper-Media System for Participatory Performances in the Opera of Meaning”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(5 pages, To Appear), May, 2010.
10. Ali Ridho Baracbah and Yasushi Kiyoki: “A Pillar Algorithm for K-Means Optimization by Distance Maximization for Initial Centroid Designation”, Proceedings of the IEEE international Symposium on Computational Intelligence and Data Mining (CIDM2009), pp.61-68, March, 2009.
11. Ali Ridho Baracbah and Yasushi Kiyoki: “Cluster Oriented Image Retrieval System with Context Based Color Feature Subspace Selection”, Industrial Electronics Seminar (IES2009), pp.C101-C106, Octover, 2009.
12. Ali Ridho Baracbah and Yasushi Kiyoki: “A New Approach for Image Segmentation using Pillar-Kmeans Algorithm”, Proceedings of the International Conference on Pattern Recognition and Computer Vision (ICPRCV2009), pp.18-23, November, 2009.
13. Jeremy Hall, Shuichi Kurabayashi and Yasushi Kiyoki: “Multimedia Data Analysis on a Massively Distributed Parallelization Network of Anonymous Web Clients”, The 2010 IEEE International Symposium on Mining and Web (MAW10), pp.(6 pages, To Appear), April, 2010.
14. Kosuke Takano, Shuichi Kurabayashi, Xing Chen and Yasushi Kiyoki: “An Adaptive SearchSystem using Heterogeneous Document Vector Spaces”, Proceedings of the 2009 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing (PACRIM 2009), pp.193-198, August, 2009.
15. Shuichi Kurabayashi, Taichi Ueno and Yasushi Kiyoki: “A Context-Based Whole Video Retrieval System with Dynamic Video Stream Analysis Mechanisms”, First International Workshop on Content-Based Audio/Video Analysis for Novel TV Services in conjunction with the 11th IEEE International Symposium on Multimedia (ISM2009), pp.505-510, December, 2009.
16. Shuichi Kurabayashi and Yasushi Kiyoki: “A Video Stream Retrieval System with Mechanisms for Mining Contexts of Query Examples”, The 15th International Conference on Database Systems for Advanced Applications (DASFAA2010), pp.(4 pages, To Appear), April, 2010.
17. Takahiro Hiruma, Shuichi Kurabayashi and Yasushi Kiyoki: “Cross-Media Association Engine for Evaluating Emotive Effects of Advertisement Video Data Streams”, Proceedings of The 13th IASTED International Conference on Software Engineering and Applications (SEA2009), pp.258- 261, November, 2009.
18. Keita Moriya, Shiori Sasaki and Yasushi Kiyoki: “A Regional Characteristics Visualization System by Dynamic Text Data Processing”, Proceedings of The 13th IASTED International Conference on Software Engineering and Applications (SEA2009), pp.250-257, November, 2009.