2010年度 学術交流支援資金 オン・ザ・フライ感性分析・共有システムによる異文化交流マルチメディアシステムの実現
研究成果報告

■本プロジェクトの背景および目的

本共同研究は、日本・米国・フィンランド間において、３ヶ国間での全く新しい形態の文化交流（学術交流、教育交流）を行う“オン・ザ・フライ感性分析・共有システムによる異文化交流マルチメディアシステム”を、米国・カリフォルニア大学サンディエゴ校のProf. Shlomo Dubnovの研究グループ、フィンランド・タンペレ工科大学のProf. Hannu Jaakkolaの研究グループと、我々の研究グループが共同して構築することを目的とする。この共同研究環境は、我々がカリフォルニア大学サンディエゴ校との共同で開発しているOoM(Opera of Meaning)システム(マルチメディア情報統合・可視化機能を有するマルチメディア・ストーリー形成システム)を本研究に適用し、(1)動画像における時間軸に沿った印象特徴量の抽出機能、(2) Webカメラから得られるリアルタイム映像を対象として、即時に感性分析を適用するリアルタイム色彩感性分析機能、(3)対応する映像を利用者へ自動配信し、利用者の分析意図に応じて動的に表示オブジェクトや内容を変更するインタラクティブ・ディスプレイ機能の実現を行う。機能(1)--(3)をOoMシステムへ実装し、日本・米国・フィンランド間において、遠隔かつ対話的なリアルタイムの文化交流を実現するものである．

■2010年度の活動報告

感性メディア分析・検索・配信の実利用環境に関する，日・米・欧・アジアの4地域に及ぶ国際共同研究ネットワークを構築した．具体的には，フィンランド・タンペレ工科大学Hannu Jaakkola教授，フィンランド・ユバスキュラ大学Anneli Heimburger博士，タイ国立電子情報通信研究所Virach Sornlletlamvanich博士，ドイツ・キール大学Bernhald Thalheim教授，米国カリフォルニア大学サンディエゴ校(UCSD) Shlomo Dubnov准教授，米国ワシントン大学ボセル校Munehiro Fukuda准教授，スロベニア・リュブリャナ大学Ana Sasa博士，インドネシア・スラバヤ工科大学Ali Ridho Barakbah博士との間での感性マルチメディア感性検索・自動配信システムの共同研究を行い，国際的研究ネットワークの構築，および，感性メディア分析・検索・配信の実利用環境を実現した．

特に，フィンランド・タンペレ工科大学Hannu Jaakkola教授，フィンランド・ユバスキュラ大学Anneli Heimburger博士，タイ国立電子情報通信研究所Virach Sornlletlamvanich博士の研究グループとの間においては，オン・ザ・フライ感性分析・共有異文化交流マルチメディアシステムの一アプリケーションとして，3D Cross-Cultural Multimedia Museumを構築した．本3D Cross-Cultural Multimedia Museumは，対話型3Dマルチメディア・オブジェクト（たとえば，立体的な情報通信機器画像，３次元地理情報、医療教育における臓器の立体画像など）を共有・共同作成・協調操作するための共有空間対話システムを用いた異文化交流マルチメディアシステムである．本3D Cross-Cultural Multimedia Museum は，3D空間と時間軸を自由に移動可能な相互対話的サイバースペースの実現により，海外や遠隔にある大学・研究機関との間に，異文化に関するマルチメディアを用いて，遠隔かつ対話的なリアルタイムの教育・研究環境の共有を実現するものである．日常的・恒常的かつ継続的な学術・教育交流活動を日々の研究教育活動の中に組み込み，関係する遠隔の大学・研究組織が，常にユビキタス環境と３次元メディア情報をリアルタイムに共有しながら，対話的な学術的共同研究を行うことを可能とする．また，3Dマルチメディア・オブジェクトという巨大な情報量を有する学術対象の対話的共有を可能にする点が特徴である．本3D Cross-Cultural Multimedia Systemは，異なる言語・文化を持つ両国の研究者グループ間で，互いの文化的差異や共通点を理解するために，各国の文化財（世界遺産，民族音楽・舞踊，絵画等）や風土を表す風景写真などのマルチメディア（画像・音楽・動画）を用いてコミュニケーションを行うプラットフォームを実現している点が特徴である．このプラットフォームは，多文化・多言語主義の進むヨーロッパ地域のみならず，今後，アジア地域等の多民族・多文化・多言語社会における文化理解・交流の社会基盤となりうる可能性がある．また，多言語・多文化対応を前提としたメディアデザイン、産業デザイン，医療福祉，教育環境などの分野に応用可能性が高い．

本研究成果を国際的に展開するため、本研究が実現する新しい形態の感性データベースシステムについての招待講演を, Asian Applied Natural Language Processing for Linguistics Diversity and Language Resource Development (ADD5) 2010において行った．特筆すべき成果として，フィンランド・タンペレ工科大学，ユバスキラ大学，米国UCSD，ドイツ・キール大学，インドネシア・ITS/EEPIS，タイ・NECTECとの間で本システムの共同実験環境の構築を行い，メディアデータ対象感性検索・分析・配信実験を行い，それらの成果を，主催した国際会議EJC2008-2010，および，主催・共催した5つの国際ワークショップにおいて，国際的に発表した．これらの国際連携プロジェクトを発展させ，本システムの実用的レベルでの実働と，実際のインターネット環境での広範な利用環境の実装に焦点を当て，具体的には，感性検索・分析・配信アクティブDB システムを実装し，そのシステムを用いた実際の応用時系列メディアデータを対象とした実用的レベルの情報配信システム環境を公開した．さらに、本システムの実利用に関する国際的共同研究体制，および，国際的規模の利用環境を構築した．

１．招待講演

本研究が実現する“遠隔・リアルタイム文化交流共同研究環境”は、新しい形態の文化交流の具体的な実現・実施を目指すものである。この新しい形態の文化交流についての招待講演を， Asian Applied Natural Language Processing for Linguistics Diversity and Language Resource Development (ADD5) 2010にて行った．また，マルチメディアデータを対象としたデータマイニング技術，および，意味的連想検索機構に関する招待講演を， University of Jyvaskylaにて行った．

２．国際学会・国際ワークショップ主催

研究代表者は、2010年度において、下記の感性データベースシステムに関連する国際会議・ワークショップを開催した．

３．実現システム

本研究の成果として、次の２システムを実現し、日・米・欧・アジアの4地域間において、遠隔かつ対話的なリアルタイムの文化交流を実現した。（システム1）対話型３次元マルチメディア・オブジェクト（たとえば、立体的な情報通信機器画像、３次元地理情報、医療教育における臓器の立体画像など）を共有、共同作成、協調操作するための共有空間遠隔操作システム、および、(システム2) 遠隔ディスカッション、および、遠隔メディア構築の結果を対象とした遠隔協調データマイニング・システム。具体的には、次の３項目を実施した。

  1. 海外の連携大学・研究機関（フィンランド・タンペレ工科大学，フィンランド・ユバスキュラ大学，タイ国立電子情報通信研究所，ドイツ・キール大学，米国カリフォルニア大学サンディエゴ校(UCSD)，米国ワシントン大学ボセル校，スロベニア・リュブリャナ大学，インドネシア・スラバヤ工科大学）との間で、オン・ザ・フライ感性分析・共有システムによる異文化交流マルチメディアシステムを実現した（図１）。さらに、その検索・分析結果のリアルタイムな共有・協働操作を可能とするオン・ザ・フライ感性分析・共有システム環境を構築した（図２）。
  2. （システム１）ストーリー・メディアの感性的最適アクティブ自動検索・配信ソフトウェアとして，ネットワーク上の時系列メディアデータを収集し，時間軸に沿った印象の変化を検出し，迅速なデータベース検索および分析機能群を起動し，自動情報配信を行うアクティブDB機能を構築した．本システムは，次の3機能を特徴としている：　機能1．既存の情報資源群を変更することなく広域的なアクティブDBシステム環境へ連結する機能，機能2．既存のマルチメディアデータベースを対象としてクエリ生成演算子を適用し，マルチメディアデータを組み合わせて，自らの検索意図を的確に反映した時系列メディア・クエリを生成する機能，機能3．時系列的な感性的内容を自動的に分析し、アクティブDBにおける検索機能、情報配信機能を駆動する機能．
  3. （システム２）動画像・音楽を対象としたオン・ザ・フライ型の感性プロセッシング機構の実現として，感性プロセッシングを実現するためのベクトル空間モデルによる検索エンジンにおいて，検索や分析の対象となる画像および動画像を表現するベクトル群を実行時にオン・ザ・フライで生成することにより，状況を即時に反映した検索や分析を行うシステムを開発した．具体的には，ウェブカメラから入力される環境映像を対象として色彩印象分析をリアルタイムに行い，利用者が置かれている状況に応じた色彩環境映像分析，データベース検索・配信を実現した（図２）。
  4. （システム３）異文化に関するマルチメディアを用いて，遠隔かつ対話的なリアルタイムの教育・研究環境の共有を実現する3D Cross-Cultural Multimedia Museumを実現した．各国の文化を代表するマルチメディアデータ（絵画、写真、画像）間の関連性（類似性および差異）を対象として，感性・印象の観点から計量・分析・可視化するための機能群，および，文化財画像や自然風土を表す写真画像を対象とした３次元マルチメディア・オブジェクトの対話的共同構築・協調操作を可能とする機能群を実現した（図３）（図４）．
文化財画像および風土・自然を表す風景写真を対象としたCross-Culturalマルチメディア検索・分析システムの実働状況 MediaMatrix: ネットワーク上で複数の利用者が，自らの感性定義に応じて，メディアデータを分析・検索するためのWeb サービスを構築
図１．文化財画像および風土・自然を表す風景写真を対象とした
Cross-Culturalマルチメディア検索・分析システムの実働状況

 図２．MediaMatrix-Share: 　ネットワーク上で複数の利用者が，自らの感性定義に応じて，
メディアデータを分析・検索するためのWeb サービスを構築
遠隔地間の異文化理解を目的とした遠隔コラボレーション教育環境（3D Cross-Cultural Multimedia Museum） フィンランドと日本の文化財や風土を表す風景写真を対象とした3D Cross-Cultural Multimedia Museumの実現例
図３．3D Cross-Cultural Multimedia Museum（遠隔地間の異文化理解を目的としたマルチメディアシステム） 図４．フィンランドと日本の文化財や風土を表す風景写真を対象とした3D Cross-Cultural Multimedia Museumの実現例

■主要な学術的成果

  1. Sasa, A., Krisper, M., Kiyoki, Y., Kurabayashi, S. and Chen, X., "A personalized recommender system model using a colour-impression-based image retrieval and ranking method," Proc. Sixth Intl. Conf. on Internet and Web Applications and Services (ICIW 2011), St. Maarten, Netherlands, March 20-25, 2011, (to appear).
  2. Fukuda, M., Kurabayashi, S. Hall, J. and Kiyoki, Y., "Morphing Parallelization Strategy to Support On-the-Fly Video Analysis," Proc. 2010 Intl. Conf. on Parallel and Distributed Processing Techniques and Applications(PDPTA 2010), pp.541-547, Las Vegas, USA, July 12 - 15, 2010.
  3. Barakbah, A. and Kiyoki, Y., “An Emotion-Oriented Image Search System with Cluster based Similarity Measurement using Pillar-Kmeans Algorighm, Proc. 20th European-Japanese Conf. on Information Modelling and Knowledge Bases, pp.125-144, Jyvaskyla, Finland, June, 2010.
  4. Suhardijanto, T., Kiyoki, Y. and Barakbah, A., “A Culture-Dependent Metadata Creation Method for Color-based Impression Extraction by Cultural Color Spaces,” Proc. 20th European-Japanese Conf. on Information Modelling and Knowledge Bases, pp.344-354, Jyvaskyla, Finland, June, 2010.
  5. Hayashi, Y., Kiyoki, Y. and Chen, X., “A Combined Imge-Query Method for Expressing User’s Intensions with Shape and Color Features in Multiple Digital Images,” Proc. 20th European-Japanese Conf. on Information Modelling and Knowledge Bases, pp.268-287, Jyvaskyla, Finland, June, 2010.
  6. Hall, J., Kurabayashi, S., and Kiyoki, Y.: "Multimedia Data Analysis on a Massively Distributed Parallelization Network of Anonymous Web Clients," Proc. 2010 IEEE Intl. Symp. on Mining and Web (MAW10), April 20-23, 2010, pp.615-620.
  7. Kurabayashi, S. and Kiyoki, Y., "MediaMatrix: A Video Stream Retrieval System with Mechanisms for Mining Contexts of Query Examples," Proc. 15th Intl. Conf. on Database Systems for Advanced Applications (DASFAA2010), April 1-4, 2010, pp. 452-455.
  8. Hayashi, Y. and Kiyoki, Y., "An Image-Query Creation Method for Expressing User's Intentions by Combining Multiple Images," Information Modelling and Knowledge Bases, Vol. XXI, pp.188-207, May 2010.
  9. Barakbah, A. R. and Kiyoki, Y., "An Image Database Retrieval System with 3D Color Vector Quantization and Cluster-based Shape and Structure Features, " Information Modelling and Knowledge Bases, Vol. XXI, pp.169-187, May 2010.
  10. Sasaki, S., Takahashi,Y. and Kiyoki, Y., "The 4D World Map System with Semantic and Spatio-temporal Analyzers," Information Modelling and Knowledge Bases, Vol. XXI, pp.1-18, May 2010.
  11. Kurabayashi, S., Dubnov, S. and Kiyoki, Y., " JoinSee: A Real-Time and Collaborative Hyper-Media System for Participatory Performances in the Opera of Meaning, " Information Modelling and Knowledge Bases, Vol. XXI, pp.258-262, May 2010.
    12. Barakbah, A. R. and Kiyoki, Y., “A New Approach for Image Segmentation using Pillar-Kmeans Algorithm,” International Journal of Signal Processing, Vol. 6, No. 2, WASET, pp. 82- 87, March 2010.
  12. Heimburger, A., Jaakkola, H., Sasaki, S., Yoshida, N. and Kiyoki Y., "Context-Based Knowledge Creation and Sharing in Cross-Cultural Collaborative Communities," Information Modelling and Knowledge Bases, Vol. XXI, pp.76-88, May 2010.
  13. Heimburger, A., Sasaki, S., Yoshida, N., Venalainen, T., Linna, P. and Welzer, T., "Cross-Cultural Collaborative Systems: Towards Cultural Computing," Information Modelling and Knowledge Bases, Vol. XXI, pp.403-417, May 2010.
  14. Nguyen, T. T. N., Sasaki, S., Uraki, A. and Kiyoki, Y., "A Semantic Metadata Extraction for Cross-cultural Music Environments by using Culture-based Music Samples and Filtering Functions," World Academy of Science, Engineering and Technology (WASET), Proceedings of International Conference on Computer, Electrical, and Systems Science, and Engineering (ICCESSE'10), Spring Meeting in Tokyo, Japan; pp.568-575, May 26-28, 2010.
  15. Nguyen, T. N. D., Sasaki, S. and Kiyoki,Y., "Imagination-based Image Search System with Dynamic Query Creation and Its Application," Proceedings of The 13th IASTED International Conference on Software Engineering and Applications SEA 2010, Marina Del Ray, California, USA, November 8 - 11, 2010, pp. 435-442.
  16. Sasaki, S., Chen, X. and Kiyoki, Y., "A Multimedia System for Creating Japan-Thailand Cross-Cultural Collaborative Environments with Semantic Image Processing," Workshop on Social Computing and Cultural Modeling, Phuket, Thailand, 3-5 March, 2010.
  17. Nguyen, T. N. D., Sasaki, S. and Kiyoki,Y., "5D World PicMap: Imagination-based Image Search System with Spatiotemporal Analyzers," Proceedings of The IADIS e-Society 2011 (ES 2011), Avila, Spain, accepted 8 pages, March 9th - 13th, 2011. (to appear)
  18. Nguyen, T. T. N., Sasaki, S. and Kiyoki, Y., "A Cross-Cultural Music Museum System with Impression-based Analyzing Functions," Proceedings of The IADIS e-Society 2011 (ES 2011), Avila, Spain, accepted 8 pages, March 9th - 13th, 2011. (to appear)