2009年度 学術交流支援資金　Opera of Meaningシステムによる遠隔・リアルタイム文化交流マルチメディアシステムの実現
研究成果報告

■本プロジェクトの背景および目的

本共同研究は、日本・米国・フィンランド間において、３ヶ国間での全く新しい形態の文化交流（学術交流、教育交流）を行う“遠隔・リアルタイム文化交流共同研究環境”を、米国・カリフォルニア大学サンディエゴ校のProf. Shlomo Dubnovの研究グループ、フィンランド・タンペレ工科大学のProf. Hannu Jaakkolaの研究グループと、我々の研究グループが共同して構築することを目的とする。この共同研究環境は、我々がカリフォルニア大学サンディエゴ校との共同で開発しているOoM(Opera of Meaning)システム(マルチメディア情報統合・可視化機能を有するマルチメディア・ストーリー形成システム)を本研究に適用し、(1)動画像における時間軸に沿った印象特徴量の抽出機能、(2)生成したストーリー・メタデータと、利用者が予め指定したストーリとの適合性を自動的に判定する機能、(3)対応する映像を利用者へ自動配信し、利用者の分析意図に応じて動的に表示オブジェクトや内容を変更するインタラクティブ・ディスプレイ機能の実現を行う。機能(1)--(3)をOoMシステムへ実装し、日本・米国・フィンランド間において、遠隔かつ対話的なリアルタイムの文化交流を実現するものである。

■2009年度の活動報告

本研究では、新しい時代の遠隔共同研究環境として、“遠隔文化交流共同研究環境”を実現した。具体的には、遠隔文化交流共同研究環境の具体的な実現 として、カリフォルニア大学サンディエゴ校(UCSD)との間でのアクティブ・感性マルチメディア配信システム環境を構築し，実ネットワーク上における連 続メディアデータの検索・分析・配信の実働実験を行った。また、ネットワーク上での多人数のディスカッションを伴う，協調的なマルチメディアデータ構築・ 分析・鑑賞システム環境と，本システムとを連結し，メディアデータの自動的配信を伴った，新たな遠隔ディスカッションシステム，遠隔メディア構築システム を実現した[1][2][3]．

１．招待講演

本研究が実現する“遠隔・リアルタイム文化交流共同研究環境”は、新しい形態の文化交流の具体的な実現・実施を目指すものである。この新しい形態の文化交流についての招待講演を，2009 Asia Pacific Academic Delegation Attending Microsoft Research Faculty Summitにて行った．また、下記の3件の招待講演、及び、キーノートスピーチを行った。

２．国際学会・国際ワークショップ主催

研究代表者は、2009年度において、下記の感性データベースシステムに関連する国際会議・ワークショップの開催5件を行い，さらに、フィンランドのタンペレ工科大学（Tampere University of Technology）およびユバスキュラ大学（University of Jyuvaskyla）との連携を行った．

３．実現システム

本研究の成果として、次の２システムを実現し、日本・米国・フィンランドの３ヶ国間において、遠隔かつ対話的なリアルタイムの文化交流を実現した。（システム1）対話型３次元マルチメディア・オブジェクト（たとえば、立体的な情報通信機器画像、３次元地理情報、医療教育における臓器の立体画像など）を共有、共同作成、協調操作するための共有空間遠隔操作システム、および、(システム2) 遠隔ディスカッション、および、遠隔メディア構築の結果を対象とした遠隔協調データマイニング・システム。具体的には、次の３項目を実施した。

  1. 海外の連携大学・研究機関（フィンランド・タンペレ工科大学、ユバスキュラ大学、タイ・国立計算技術センター）との間で、文化財画像および風土・自然を表す風景写真を対象としたCross-Culturalマルチメディア検索・分析システムを実現した（図１）。さらに、その検索・分析結果のリアルタイムな共有・協働操作を可能とするCross-Cultural遠隔コラボレーション教育環境を構築した。
  2. （システム１）日本・米国フィンランド間でのマルチメディア共有空間対話システム上での3Dオブジェクト遠隔生成・構築・操作についての基本機能動設計を行った。実験では、これまで作成してきた基本的な3Dオブジェクトを用いる。また、開発した共有空間対話システム上に、動画像などのマルチメディアデータを投入するための拡張を行った。
  3. （システム２）遠隔協調データマイニング・システムの実現として、インターネット上に散在する任意の映像・音楽を対象とした感性分析機構を開発した。さらに、遠隔協調データマイニング・システムの実現システムとして、ネットワーク上で複数の利用者が，自らの感性定義に応じて，メディアデータを分析・検索するためのWeb サービスを構築した（図２）。
文化財画像および風土・自然を表す風景写真を対象としたCross-Culturalマルチメディア検索・分析システムの実働状況MediaMatrix-Share: ネットワーク上で複数の利用者が，自らの感性定義に応じて，メディアデータを分析・検索するためのWeb サービスを構築
図１．文化財画像および風土・自然を表す風景写真を対象とした
Cross-Culturalマルチメディア検索・分析システムの実働状況		図２．MediaMatrix-Share: 　ネットワーク上で複数の利用者が，自らの感性定義に応じて，
メディアデータを分析・検索するためのWeb サービスを構築

■主要な学術的成果

  1. Sasaki, S., Takahashi,Y. and Kiyoki,Y., "The 4D World Map System with Semantic and Spatio-temporal Analyzers," Proceedings of the 19th European-Japanese Conference on Information Modelling and Knowledge Bases, pp.11-24, Maribor, Slovenia, June, 2009.
  2. Nhuyen, N., Sasaki, S., Uraki, A. and Kiyoki, Y., "A Semantic Metadata Extraction for Cross-cultural Music Environments by using Culture-based Music Samples and Filtering Functions," World Academy of Science, Engineering and Technology (WASET), Proceedings of International Conference on Computer, Electrical, and Systems Science, and Engineering (ICCESSE'10), Spring Meeting in Tokyo, Japan; May 26-28, 2010, 9 pages (to appear).
  3. Sasaki, S., Watagoshi, K., Takano, K., Hirashima, K. and Kiyoki,Y., "An impression-oriented music courseware and its application for elementary school," Proceedings of the IADIS e-Society 2009 Conference, Porto, Portugal, March 2010, 9 pages (to appear).
  4. Minoru Kawamoto and Yasushi Kiyoki: “Domain Specific Knowledge Space Creation Process for Semantic Associative Search”, Information Modelling and Knowledge Bases, Vol. XX, pp.253-260, May, 2009.
  5. Shiori Sasaki, Yoshiko Itabashi, Yasushi Kiyoki and Xing Chen: “An Image-Query Creation Method for Representing Impression by Color-based Combination of Multiple Images”, Information Modelling and Knowledge Bases, Vol. XX, pp.105-112, May, 2009
  6. Marie Duzi, Anneli Heimburger, Takehiro Tokuda, Peter Vojtas and Naofumi Yoshida: “Multi-Agent Knowledge Modelling”, Information Modelling and Knowledge Bases, Vol. XX, pp.411-428, May, 2009.
  7. Shlomo Dubnov and Yasushi Kiyoki: “Opera of Meaning: film and music performance with semantic associative search”, Information Modelling and Knowledge Bases, Vol. XX, pp.384-391, May, 2009.
  8. Yusuke Takahashi and Yasushi Kiyoki: “A Metalevel Database System for Personal Career Opportunity Analysis by Connecting Occupational and Educational Databases”, Information Modelling and Knowledge Bases, Vol. XX, pp.270-289, May, 2009.
  9. Ali Ridho Baracbah and Yasushi Kiyoki: “An Image Database Retrieval System with 3D Color Vector Quantization and Cluster-based Shape and Structure Features”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
  10. Yasuhiro Hayashi and Yasushi Kiyoki: “An Image-Query Creation Method for Expressing User’s Intentions by Combining Multiple Images”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
  11. Shiori Sasaki, Yusuke Takahashi and Yasushi Kiyoki: “The 4D World Map System with Semantic and Spatio-temporal Analyzers”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
  12. Shuichi Kurabayashi, Shlomo Dubnov and Yasushi Kiyoki: “JoinSee: A Real-Time and Collaborative Hyper-Media System for Participatory Performances in the Opera of Meaning”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(5 pages, To Appear), May, 2010.
  13. Ali Ridho Baracbah and Yasushi Kiyoki: “A Pillar Algorithm for K-Means Optimization by Distance Maximization for Initial Centroid Designation”, Proceedings of the IEEE international Symposium on Computational Intelligence and Data Mining (CIDM2009), pp.61-68, March, 2009.
  14. Ali Ridho Baracbah and Yasushi Kiyoki: “Cluster Oriented Image Retrieval System with Context Based Color Feature Subspace Selection”, Industrial Electronics Seminar (IES2009), pp.C101-C106, Octover, 2009.
  15. Ali Ridho Baracbah and Yasushi Kiyoki: “A New Approach for Image Segmentation using Pillar-Kmeans Algorithm”, Proceedings of the International Conference on Pattern Recognition and Computer Vision (ICPRCV2009), pp.18-23, November, 2009.
  16. Jeremy Hall, Shuichi Kurabayashi and Yasushi Kiyoki: “Multimedia Data Analysis on a Massively Distributed Parallelization Network of Anonymous Web Clients”, The 2010 IEEE International Symposium on Mining and Web (MAW10), pp.(6 pages, To Appear), April, 2010.
  17. Kosuke Takano, Shuichi Kurabayashi, Xing Chen and Yasushi Kiyoki: “An Adaptive SearchSystem using Heterogeneous Document Vector Spaces”, Proceedings of the 2009 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing (PACRIM 2009), pp.193-198, August, 2009.
  18. Shuichi Kurabayashi, Taichi Ueno and Yasushi Kiyoki: “A Context-Based Whole Video Retrieval System with Dynamic Video Stream Analysis Mechanisms”, First International Workshop on Content-Based Audio/Video Analysis for Novel TV Services in conjunction with the 11th IEEE International Symposium on Multimedia (ISM2009), pp.505-510, December, 2009.
  19. Shuichi Kurabayashi and Yasushi Kiyoki: “A Video Stream Retrieval System with Mechanisms for Mining Contexts of Query Examples”, The 15th International Conference on Database Systems for Advanced Applications (DASFAA2010), pp.(4 pages, To Appear), April, 2010.
  20. Takahiro Hiruma, Shuichi Kurabayashi and Yasushi Kiyoki: “Cross-Media Association Engine for Evaluating Emotive Effects of Advertisement Video Data Streams”, Proceedings of The 13th IASTED International Conference on Software Engineering and Applications (SEA2009), pp.258- 261, November, 2009.
  21. Keita Moriya, Shiori Sasaki and Yasushi Kiyoki: “A Regional Characteristics Visualization System by Dynamic Text Data Processing”, Proceedings of The 13th IASTED International Conference on Software Engineering and Applications (SEA2009), pp.250-257, November, 2009.