2012年度 学術交流支援資金
ノーベル・コンピューティング・プロジェクト
研究成果報告

■本プロジェクトの背景および目的

本国際共同研究の目的は，マルチメディア・データベースシステムを基本システムとして、遠隔地にある多国間での学術・教育・文化交流のための協働研究利用環境の構築である。フィンランド・タンペレ工科大学のProf. Hannu Jaakkola，タイ・国立電子情報通信技術研究所のProf. Virach Sornlertlamvanich，ベトナム・国立大学技術工科大学（VNU-UET）のProf. Anh-Cuong Le，インドネシア・スラバヤ工科大学（ＥＥＰＩＳ）のProf. Dadet Pramadihantoの各研究グループと我々SFC MDBL(Multimedia Data Base & Data Mining Laboratory)研究グループにより"クロスカルチュラル・コンピューティング"国際共同研究利用環境（図1）を構築することにある．

我々がこれまでに欧・米・アジア各国の研究グループとの共同研究（図2）において開発しているユビキタス遠隔協調対話システムと，マルチメディアの分析・検索・可視化によって地域文化の差異や類似性の比較分析を可能とする５Ｄ世界地図システムを適用・拡張し，マルチメディアデータ（画像・音楽・動画・文書）群の特徴分析と多元的可視化によって，国際社会における各国・地域・都市の環境・歴史・文化的差異や類似性とその時間的変遷をリアルタイムかつ対話的に比較分析・共有するためのシステムとして実現する． 具体的には，"５Ｄ世界地図システム"上に各機関からのマルチメディア・データを蓄積し，(1)マルチメディアからの文化横断型および文化依存型特徴量の抽出機能，(2) マルチメディア特徴の地理情報を伴った時間的遷移分析結果と文化的差異・類似性分析結果を動的に５Ｄ世界地図システム上に可視化する機能，(3) ５Ｄ世界地図システム上でのインタラクティブなマルチメディア共有・操作機能の実現を行う．

我々は、本国際共同研究によって構築したシステムを今後の国際共同研究における"クロスカルチュラル・コンピューティング・プラットフォーム"として実用的に応用し、大規模クロスカルチュラル・コンピューティング環境の実現を目指す．

図1.クロスカルチュラル・コンピューティング 協働研究利用環境の概要


図2.国際的共同研究体制

■2012年度の活動報告

本研究では，これまでに欧・米・アジア各国の研究グループとの共同研究において開発しているユビキタス遠隔協調対話システムと，マルチメディアの分析・検索・可視化によって地域文化の差異や類似性の比較分析を可能とする５Ｄ世界地図システムを拡張・統合し，世界の各国・地域・都市の環境・歴史・文化に関するマルチメディアデータに適用することにより，広域ネットワーク上に日々公開される大量のメディア情報を意味・感性・時空間の観点から動的に検索し，高度な知識発見・知識獲得を可能とする，総合的なクロスカルチュラル・コンピューティング協働研究利用環境（図1）を実現した．

具体的には，マルチメディアを多角的・動的に検索すると共に，時代・文化の多様性を反映した内容・コンテキストの時系列的変化や地域別差異に関する分析を行い，その分析結果を問題領域別・情報源別・地域別に表示・可視化する機能を持つシステムの構築を行った（図3、図4）．本システムは，キーワードや所有するメディアデータを伴って格納された問題領域や関心領域に関連する環境・歴史・文化に関する多様なマルチメディア情報源とその時間・空間的情報を伴った分析結果を，動的かつ定量的に検索・統合し，協働的地域文化データベースの自動的な作成を実現する（図5、図6）．

より具体的には，主に次の3機能の実現を行った．（1）マルチメディアから文化横断型および文化依存型特徴量を抽出する機能，(2) 抽出されたマルチメディア特徴の文化的差異・類似性を分析し，その結果について地理情報を伴った時間的遷移として動的に可視化する機能，(3)インタラクティブなマルチメディア共有・操作機能．

このクロスカルチュアル・コンピューティング協働研究利用環境は，高度な情報通信技術と世界的に貴重な文化財，自然環境を有する日本・フィンランド・タイ・ベトナム・インドネシアの5サイトに，これら(1)(2)(3)の対話システムを設置し，5ヶ国間において，継続的な文化交流活動を日々の研究教育活動の中に組み込み，各遠隔地から常にユビキタス環境と多次元メディア情報を共有しながらの対話的な学術的共同研究を実現するものである．

図3.マルチメディア・データの特徴量（色彩）分析によるクロスカルチュラル・コンピューティング(I) 図4.マルチメディア・データの特徴量（色彩）分析によるクロスカルチュラル・コンピューティング(II)



図5.5D世界地図によるマルチメディア特徴量の時空間的分析・可視化例 (I) 図6.5D世界地図によるマルチメディア特徴量の時空間的分析・可視化例 (II)



特筆すべき成果としては，本研究成果を国際的に展開するため，本研究が実現する新しい形態の異文化交流型協働研究環境および感性データベースシステムについての国際会議・国際ワークショップを, 共同研究の連携先であるフィンランド，インドネシア，タイ，ベトナムとともに開催し，これらの国において講演を行ったことにある．フィンランド・タンペレ工科大学（TUT），インドネシア・スラバヤ工科大学（EEPIS），タイ・国立電子情報通信技術研究所（NECTEC），ベトナム国家大学（VNU-UET）との間で本システムの共同実験環境の構築を行い，文化メディアデータ対象検索・分析・配信実験を行い，それらの成果を，主催した国際会議European Japanese Conference on Information Modelling and Knowledge Bases (EJC2012)，および，主催・共催した国際ワークショップ（ベトナム）において発表した．さらに，2013年3月20-21日に開催される国際会議The 2nd Indonesian-Japanese Conference on Knowledge Creation and Intelligent Computing (KCIC2013)において5件の発表を行う．これらの国際連携プロジェクトを発展させ，本システムの実用的レベルでの実働と，実際のインターネット環境での広範な利用環境の実装に焦点を当て，本システムの実利用に関する国際的共同研究体制，および，国際的規模の利用環境を構築した．

１．招待講演

本研究が実現する"クロスカルチュラル・コンピューティング"国際共同研究利用環境は、新しい形態の文化交流の具体的な実現・実施を目指すものである.この新しい形態の国際協働研究利用環境についての招待講演（基調講演・特別講演）を，ASEAN工学系高等教育ネットワークプロジェクト国際会議The 5th AUN/SEED-net Regional Conference on Global Environment等にて行った．また，マルチメディアデータを対象としたデータマイニング技術，および，意味的連想検索機構に関するInvited Lectureを， 2012年9月9日〜9月15日の1週間に渡り，University of Jyvaskyla, Finlandにて行った．

２．国際学会・国際ワークショップ主催・共催

研究代表者は、2012年度において、下記のクロスカルチュラル・コンピューティング"国際共同研究利用環境のためのデータベースシステムに関連する国際会議・ワークショップを開催した．

■主要な学術的成果

  1. Yasushi Kiyoki, "Context Modelling for Creating Cross-Cultural Collaborative Environments", Information Modelling and Knowledge Bases, IOS Press, XXIII, 2 pages, May 2012.
  2. Yasushi Kiyoki, Shiori Sasaki, Nhung Nguyen Trang, Nguyen Thi Ngoc Diep, "Cross-cultural Multimedia Computing with Impression-based Semantic Spaces", Conceptual Modelling and Its Theoretical Foundations, Lecture Notes in Computer Science, Springer, pp.316-328, March 2012.
  3. Totok Suhardijanto, Yasushi Kiyoki, Ali Ridho Barakbah, "A Term-based Cross-Cultural Computing System for Cultural Semantics Analysis with Phonological-Semantic Vector Spaces," Information Modelling and Knowledge Bases XXIII, pp.20-38, IOS Press, 2012.
  4. Ana Sasa, Yasushi Kiyoki, Shuichi Kurabayashi, Xing Chen, Marjan Krisper, "A Service-Oriented Framework for Personalized Recommender Systems Using a Colour-Impression-Based Image Retrieval and Ranking Method," Information Modelling and Knowledge Bases XXIII, IOS Press, pp.59-76, 2012.
  5. Anneli Heimberger, Yasushi Kiyoki, Hannu Jaakkola and Totok Suhardijant, “Future Directions of Context Modelling and Cross-Cultural Communication,” Information Modelling and Knowledge Bases, vol. XXIII, pp.399-411, 2012.
  6. Bernhard Thalheim and Yasushi Kiyoki, "Analysis-Driven Data Collection, Ingtegration and Preparation for Visuallization," vol. XXIV, 14 pages, May 2013 (to appear).
  7. Shiori SASAKI, Peter VOJTAS, Kai JANNASCHK, Bernhard THALHEIM, Hannu JAAKKOLA, and Yasushi KIYOKI, Multimedia Information Systems for Social, Cross-Cultural and Environmental Computing, Information Modelling and Knowledge Bases, Vol. XXIII, 14 pages, May 2013 (to appear).
  8. Nguyen, D.T.N. and Kiyoki, Y.: “Imagination-based Query Creation Method for Image Retrieval," Information Modelling and Knowledge Bases, vol. XXIV, 20 pages, May 2013 (to appear).
  9. Jeremy Hall and Yasushi Kiyoki: “Creating a Personal-Context Oriented Real-Time Dynamic and Collaborative Space," Information Modelling and Knowledge Bases, vol. XXIV, 20 pages, May 2013 (to appear).
  10. Ito, S. and Kiyoki, Y.: “A Context-based Multi-Dimensional Corporate Analysis Method," Information Modelling and Knowledge Bases, vol. XXIV, 14 pages, May 2013 (to appear).
  11. Itabashi, Y., Sasaki, S. and Kiyoki, Y., "Cross-cultural Image Computing with Multiple Color-Space Transformation," 20 pages, Emitter Journal, 2012.
  12. Mori, M., Sasaki, S., Kiyoki, Y., "A Bird-World Image-Map System with Spatiotemporal and Color Analysis Functions" Proceedings of The 10th International Conference on IEEE ICT and Knowledge Engineering 2012, Bangkok, Thailand, pp.104 - 111, November 2012.
  13. Nagato KASAKI, Shuichi KURABAYASHI, and Yasushi KIYOKI: A geo-location context-aware mobile learning system with adaptive correlation computing methods, Procedia Computer Science, Vol. 10, pp. 593-600, 2012.
  14. Mariko Komatsu, Shuichi Kurabayashi, Yasushi Kiyoki, "A SEARCHING IMAGE BASED KNOWLEDGE MEMORY SYSTEM BY USING COLORS", Proceedings of the IASTED International Conference Computers and Advanced Technology in Education (CATE 2012) June 25 - 27, 2012 Napoli, Italy, pp.43-48, 2012.
  15. Yuki Toyoshima, Yasuhiro Hayashi and Yasushi Kiyoki, "A Sign-Logo Image Search & Combination System by Analyzing Color and Shape Features," The IASTED International Conferences on Informatics 2013, Signal Processing, Pattern Recognition and Applications (SPPRA 2013), pp. 313-320, February 12 - 14, Innsbruck, Austria, 2013.
  16. Diep Thi-Ngoc NGUYEN, Shiori SASAKI and Yasushi KIYOKI, WEE: A MASHUP SYSTEM USING SOCIAL NETWORKS FOR COLLABORATIVE ENVIRONMENTAL MONITORING EDUCATION WITH SPATIOTEMPORAL ANALYSIS AND VISUALIZATION, The 10th IASTED International Conference on Web-based Education (WBE 2013), Innsbruck, Austria, pp. 909-916, February 13 - 15, 2013.
  17. Nguyen, D.T.N., Sasaki, S. and Kiyoki, Y.: “Visualization and Analysis of Global Environmental Change with Multimedia Retrieval”, International Forum for Sustainable Asia and the Pacific (IGES - ISAP 2012), Yokohama, Japan, July 24-25, 2012.
  18. Yoshiko ITABASHI, Shiori SASAKI, and Yasushi KIYOKI, Distinctive-Color Analytical Visualization for Cross-Cultural Image Computing with 5D World Map, Knowledge Creation & Intelligent Computing 2013, South Bali, Indonesia, accepted 8 pages, March 2013 (to appear).
  19. Hanako FUJIOKA, Shiori SASAKI, and Yasushi KIYOKI, An Analytical Visualization System of Historical, Geographical and International Trading Information for 5D World Map, Knowledge Creation & Intelligent Computing 2013, South Bali, Indonesia, accepted 8 pages, March 2013 (to appear).
  20. Hiroki KASHIWAGI, Shiori SASAKI, and Yasushi KIYOKI, An Event Information Provision System with Multi-Dimensional Computations, Knowledge Creation & Intelligent Computing 2013, South Bali, Indonesia, accepted 8 pages, March 2013 (to appear).
  21. Yuka KOMORI, Shiori SASAKI, and Yasushi KIYOKI, Descriptive Bibliography Search System with Historical Geographic 5D World Map Visualization, Knowledge Creation & Intelligent Computing 2013, South Bali, Indonesia, accepted 8 pages, March 2013 (to appear).
  22. Yasuhiro Hayashi, Yuki Toyoshima and Yasushi Kiyoki, "A Sign-Logo Image Analysis & Search System for Image-Query Creation by Combining Multiple Images", Knowledge Creation & Intelligent Computing 2013, South Bali, Indonesia, accepted 8 pages, March 2013 (to appear).
  23. 加嵜長門，倉林修一，清木 康：”体験連動型モバイル学習を対象としたオープンライセンス教材コミュニティシステムの構築”，教育システム情報学会研究報告，Vol.27, No.2, 2012年7月.
  24. Diep Thi-Ngoc NGUYEN，佐々木史織，清木 康：”SPATIOTEMPORAL ANALYSIS AND VISUALIZATION SYSTEM FOR ENVIRONMENTAL RESEARCH AND EDUCATION”，教育システム情報学会研究報告，Vol.27, No.2, 2012年7月.