2011年度 学術交流支援資金・外国語電子教材作成支援
マルチメディア知識ベース構築論
研究成果報告

■本研究の目的

本研究の目的は，グローバルなネットワーク社会，ユビキタス社会この教育環境は，グローバルなネットワーク社会，ユビキタス社会（場所，時間，環境，状況に応じて動的に情報が交信される社会）において，学習者の日常の体験と連動した「学び」の場を作ることを目的としたものである．において，学習者の日常そのものを「学び」の場とするようなユビキタス的学習環境の国際的実利用環境を構築することである．本研究は，学習者の時空間的状況を分析し，その分析結果に応じて，必要な実践的知識を自動配信する"体験連動型ユビキタス・外国語電子教材自動配信システム"を構築する．また，外国語授業における動画教材，音声教材をこのシステム上に配置し，実際の学生の時空間的状況に応じて必要な学習教材を自動配信し，学習履歴のログ化による教育効果分析を実施する．さらに，本システムを国際的共同研究環境へ適用し，学習者のグローバルな海外活動と連動して，学習者の認知プロセスを重視した自律学習・協同学習支援，および，学習した知識と現実の生活空間とのマッピングによる状況論的学習の促進を実現する．国際的実証実験として，フィンランド・タンペレ工科大学Prof. Hannu Jaakkola，アメリカ・カルフォルニア大学サンディエゴ校Prof. Shlomo Dubnovらとの３ヵ国共同実験環境を構築し，実用的な外国語学習環境を構築・公開する．

■本研究の背景

現在急速に広がっているグローバル・ネットワークおよびユビキタス社会において求められる問題発見解決のために、学習者が学んだ内容・技術を知識として留めるのではなく，それを実生活において実際に活用する能力を育成する教育・学習システムの実現が望まれている．これまで，学習者の日常そのものを「学び」の場とするようなユビキタス的学習環境の構築，といった理念の技術的実現が困難な状況であったが，本研究では，こうした問題を出発点とし，グローバル・ネットワークおよびユビキタス・情報システムによって新たに可能となる実生活空間での動的な問題発見解決環境を構築し，学習者の日常そのものを「学び」の場とするようなユビキタス的学習環境として，体験連動型ユビキタス・外国語電子教材自動配信システムを実現する．ユビキタス・コンピューティングとメディア自動配信の技術を活かし，学習者がその場で必要とする学習素材を学習者の持つ端末に自動的に配信するというシステムは，これまで実用レベルにおいては例がなく，その開発が求められている．

■2011年度の活動報告

本研究では，ユビキタス社会，グローバル社会において発生する諸問題の解決のために，既存の学術情報源を横断した，迅速かつ適切な情報獲得・分析が求められている状況において，学習者が実体験を通して自らの知識を再構築するための学習環境を実現した．グローバル・ネットワークおよびユビキタス・情報システムによって新たに可能となる実生活空間での動的な問題発見解決環境を構築し，学習者の日常そのものを「学び」の場とするようなユビキタス的学習環境として，次の2機能を特徴とする体験連動型ユビキタス・外国語電子教材自動配信システムを実現した（図１，図２）：(a) 学習者の認知プロセスを重視した自律学習・協同学習支援機能，(b)学習した知識と現実の生活空間とのマッピングによる状況論的学習機能．これらの機能を有する体験連動型ユビキタス・外国語教育メディア自動配信システムを構築することにより，利用者の意向と状況に応じて，その時，その場でもっとも必要と思われる教材を自動的に学習者に配信し，学生が,B>講義で得られた知識・技能を実生活空間で実際に活用・追体験できるような"生活空間における実践的体験学習"環境を実現した．

学習者の時空間的状況を分析し，その分析結果に応じて，実践的知識を配信する体験連動型ユビキタス・外国語電子教材自動配信システム 日常生活の様々な場面において，時空間的関連性に応じた教材情報配信を実現するユビキタス体験教育環境
図１．学習者の時空間的状況を分析し，その分析結果に応じて，実践的知識を配信する体験連動型ユビキタス・外国語電子教材自動配信システム

 図2. 日常生活の様々な場面において，時空間的関連性に応じた教材情報配信を実現するユビキタス体験教育環境

本研究において実現したシステムの重要な特徴は，学習者が所持するスマートフォン内蔵センサ群による状況変化を発生イベントとし，そのイベントをトリガとしてマルチメディア・データベースを起動し，その状況に合致する外国語電子教材を対象学習者のコンテクストに応じて自動配信するという新しいマルチメディア教材配信を，マルチメディア・データベースの自動起動とメディア配信により実現したことにある（図３）．

本システムは，学習者毎に本システムの利用状況を逐一サーバコンピュータに送信し，一人一人の詳細な利用ロギング(学習履歴蓄積)を行い，細粒度の学習履歴獲得を行うことにより（図３），学習者のグローバルな海外活動と連動して，学習者の認知プロセスを重視した自律学習・協同学習を支援する．また，本システムは学習した知識と現実の生活空間とのマッピングによる状況論的学習の促進を実現するものであり，本学の動画・音声教材の利活用促進，学生のモチベーションの向上，学習履歴ログを対象とした教育効果分析によるPDCAサイクルの実現により，SFCにおける外国語学習の質の向上に大きく貢献する．さらに，将来的には，このデータ履歴と，学習者の学習全体の履歴を連動させることによって，学習者の生涯学習にもつながる可能性を提示できる．

さらに，本研究では，本システムの国際的共同研究環境として，学習者のグローバルな海外活動と連動して，学習者の認知プロセスを重視した自律学習・協同学習支援，および，学習した知識と現実の生活空間とのマッピングによる状況論的学習環境を実現し，本システムの外国語電子教材による学習環境を実用的なレベルで構築した（図４）．



学習履歴のログ化による教育効果分析の実施例．学生の教材閲覧履歴を，場所，時間に応じて可視化し，教材の利用状況，利用頻度を分析 4D世界地図によるマルチメディア特徴量の時空間的分析・可視化例2
図3 学習履歴のログ化による教育効果分析の実施例．学生の教材閲覧履歴を，場所，時間に応じて可視化し，教材の利用状況，利用頻度を分析 図4 各国の海外連携校キャンパス周辺に外国語電子教材を数千件以上設置可能な入力システムを実現し，グローバルなユビキタス学習環境を構築

特筆すべき成果としては，本研究成果を国際的に展開するため，本研究が実現する新しい形態の異文化交流型協働研究環境および感性データベースシステムについての招待講演を, 共同研究の連携先であるフィンランド，インドネシア，タイにおいて行ったことにある．フィンランド・タンペレ工科大学，ユバスキラ大学，インドネシア・ITS/EEPIS，タイ・NECTEC，ベトナム・VNU-UETとの間で本システムの共同実験環境の構築を行い，文化メディアデータ対象検索・分析・配信実験を行い，それらの成果を，主催した国際会議European Japanese Conference on Information Modelling and Knowledge Bases (EJC2011)，および，主催・共催した国際ワークショップ（ベトナム）において発表した．これらの国際連携プロジェクトを発展させ，本システムの実用的レベルでの実働と，実際のインターネット環境での広範な利用環境の実装に焦点を当て，本システムの実利用に関する国際的共同研究体制，および，国際的規模の利用環境を構築した．

１．招待講演

本研究が実現する体験連動型ユビキタス・外国語電子教材自動配信システムは、新しい形態の外国語電子教材利用環境の具体的な実現・実施を目指すものである.この新しい形態の外国語電子教材利用環境についての招待講演を， International Conference in Printing and Imaging，National Electronic and Computing Technology Center Annual Conference and Exibition (NECTEC-ACE 2011)，The 1st Indonesian-Japanese Conference on Knowledge Creation and Intelligent Computing (KCIC 2012)にて行った．また，マルチメディアデータを対象としたデータマイニング技術，および，意味的連想検索機構に関するInvited Lectureを， 2011年9月4日〜9月9日の1週間に渡り，University of Jyvaskyla, Finlandにて行った．

２．国際学会・国際ワークショップ主催

研究代表者は、2011年度において、下記の体験連動型ユビキタス・外国語電子教材自動配信システムのためのデータベースシステムに関連する国際会議・ワークショップを開催した．

    ■主要な学術的成果

    1. Yasushi Kiyoki, Roland Hausser, Totok Suhardijanto, Hannu Jaakkola, Anneli Heimb?rger, "Context Modelling and Cross-Cultural Communication," Information Modelling and Knowledge Bases, IOS Press, XXIII, 20 pages, 2012 (to appear).
    2. Yasushi Kiyoki, "Kansei" Multimedia Computing Systems for Realizing International and Cross-Cultural Research Environments, International Conference in Printing and Imaging, Keynote paper, refereed paper, Aug. 2011.
    3. Yasushi Kiyoki, "Context Modelling for Creating Cross-Cultural Collaborative Environments", Information Modelling and Knowledge Bases, IOS Press, XXIII, 2 pages, May 2012.
    4. Yasushi Kiyoki, Shiori Sasaki, Nhung Nguyen Trang, Nguyen Thi Ngoc Diep, "Cross-cultural Multimedia Computing with Impression-based Semantic Spaces", Conceptual Modelling and Its Theoretical Foundations, Lecture Notes in Computer Science, Springer, 16 pages, March 2012 (to appear).
    5. Totok Suhardijanto, Yasushi Kiyoki, Ali Ridho Barakbah, "A Term-based Cross-Cultural Computing System for Cultural Semantics Analysis with Phonological-Semantic Vector Spaces," Information Modelling and Knowledge Bases XXIII, 19 pages, IOS Press, 2012.
    6. Ana Sasa, Yasushi Kiyoki, Shuichi Kurabayashi, Xing Chen, Marjan Krisper, "A Service-Oriented Framework for Personalized Recommender Systems Using a Colour-Impression-Based Image Retrieval and Ranking Method," Information Modelling and Knowledge Bases XXIII, IOS Press, pp.59-76, 2012.
    7. Anneli Heimburger, Yasushi Kiyoki, Tommi Karkainen,Ekaterina Gilman, Kim Kyong-Sookd and Naofumi Yoshida, "On Context Modelling in Systems and Applications Development," Information Modelling and Knowledge Bases, IOS Press, XXII, pp.396-412, May 2011.
    8. Ali Ridho Barakbah and Yasushi Kiyoki, "An Emotion-Oriented Image Search System with Cluster based Similarity Measurement using Pillar-Kmeans Algorighm, Information Modelling and Knowledge Bases, IOS Press, XXII, pp.117-136, May 2011.
    9. Yasuhiro Hayashi, Yasushi Kiyoki and Xing Chen, "A Combined Imge-Query Method for Expressing User's Intensions with Shape and Color Features in Multiple Digital Images," Information Modelling and Knowledge Bases, IOS Press, XXII, pp.258-277, May 2011.
    10. Totok Suhardijanto, Yasushi Kiyoki and Ali Ridho Barakbah "A Culture-Dependent Metadata Creation Method for Color-based Impression Extraction by Cultural Color Spaces," Information Modelling and Knowledge Bases, IOS Press, XXII, pp.333-343, May 2011.
    11. Totok Suhardijanto, Yasushi Kiyoki, "An Integrated Semantic Distance Computational Method for Constructing Language Inheritance Relationship: A Case of Austronesian Phylogeny," Paper presented at the 20th International Conference on Historical Linguistics, July 25-30, 2011, Osaka, Japan.
    12. Kiyoki, Y., "Imagination-based image search", National Electronic and Computing Technology Center Annual Conference and Exibition (NECTEC-ACE 2011), Bangkok, Thai, 2 pages, Sep. 16th, 2011.
    13. Sasaki, S. and Kiyoki, Y., "Cross-cultural Database System for Textile Design", National Electronic and Computing Technology Center Annual Conference and Exibition (NECTEC-ACE 2011), Bangkok, Thai, 2 pages, Sep. 16th, 2011.
    14. Mori, M., Sasaki, S. and Kiyoki, Y., "A Semantically Related Information-Extraction System of Living Things by Spatial, Temporal and Color Analyzer," Proceedings of the 13th Industrial Engineering Seminar(IES 2011), E-H202-2, 8 pages, Surabaya, Indonesia, Oct. 26th, 2011.
    15. Toyoshima, Y., Sasaki, S. and Kiyoki, Y., "A Cross-cultural Meaning Recognition System for Sign-Logo by Color-Shape-Based Similarity Computations of Images," Proceedings of the 13th Industrial Engineering Seminar(IES 2011), E-J105-2, 8 pages, Surabaya, Indonesia, Oct. 26th, 2011.
    16. Itabashi, Y., Sasaki, S. and Kiyoki, Y., "Cross-cultural Image Computing with Multiple Color-Space Transformation," Proceedings of the 13th Industrial Engineering Seminar(IES 2011), E-H202-2, 8 pages, Surabaya, Indonesia, Oct. 26th, 2011.
    17. Yasushi Kiyoki, "Multimedia Data Mining Systems for Realizing Global Environmental Analysis", The 1st Indonesian-Japanese Conference on Knowledge Creation and Intelligent Computing (KCIC 2012), Keynote Speech, Surabaya, Indonesia, 13-14th March 2012.
    18. Shiori Sasaki, Yoshiko Itabashi, Diep Thi-Ngoc Nguyen, Yasushi Kiyoki, Ali Ridho Barakbah and Kosuke Takano, "Cross-cultural Image Database System with Impression-based Color Arrangement", The 1st Indonesian-Japanese Conference on Knowledge Creation and Intelligent Computing (KCIC 2012), 8 pages, Surabaya, Indonesia, 13-14th March 2012.
    19. Diep Thi-Ngoc Nguyen, Shiori Sasaki and Yasushi Kiyoki, "IMAGINATION-BASED TRAVEL DESIGNING SYSTEM WITH 5D WORLD PICMAP", The 1st Indonesian-Japanese Conference on Knowledge Creation and Intelligent Computing (KCIC 2012), 8 pages, Surabaya, Indonesia, 13-14th March 2012.
    20. Shin Ito and Yasushi Kiyoki, "A Context-based Corporate Analysis Method with Finance-Related Information, The 1st Indonesian-Japanese Conference on Knowledge Creation and Intelligent Computing (KCIC 2012), 7 pages, Surabaya, Indonesia, 13-14th March 2012.
    21. 加嵜 長門, 倉林 修一, 清木 康: "学習者の状況・嗜好に応じた教材配信機能を有する体験連動型マルチリンガル外国語e-Learningシステム," 教育システム情報学会研究報告, Vol.26, No.2, pp.41-48, 2011-07.
    22. 倉林 修一, 清木 康: "時系列色彩分析機能による動画像印象ソーシャルタギング," 電子情報通信学会技術研究報告, Vol.111, No.76, DE2011-25, PRMU2011-56 (2011-6) pp.137-142, 2011年6月6日〜2011年6月7日, 神奈川県.
    23. 佐々木史織，小杉尚子，清木康：「フィジカル・エクササイズのための個人特性対応型楽曲検索システムの実現」，第153回DBS研究会，2011-DBS-153-A-3-4_2，16 pages, Nov. 3rd, 2011．
    24. 浦木 麻子, 倉林 修一, 清木 康: "楽曲時系列印象データの階層的粒度構造化による楽曲要約メタデータ生成方式," 第4回Webとデータベースに関するフォーラム(WebDB Forum 2011), 8 pages, 2011年11月4日〜5日.
    25. 藤岡華子，佐々木史織，清木康：「4D世界地図を対象とした国際貿易取引情報可視化システムの実現」，第4回データ工学と情報マネジメントに関するフォーラム（DEIM2012），8 pages，3月3日〜3月5日，2012年．
    26. 佐保田 恵, 佐々木 史織，清木 康：「アロマテラピーのためのエッセンシャルオイル・データベースを対象とした香りと心理的効果の関連性計量機構の実現」，第4回データ工学と情報マネジメントに関するフォーラム（DEIM2012），8 pages，3月3日〜3月5日，2012年．
    27. 矢部 竜太, 倉林 修一, 清木 康：「配信情報と利用者の関係性を動的に計量する位置情報に基づく情報配信システムの提案:」，第4回データ工学と情報マネジメントに関するフォーラム（DEIM2012），8 pages，3月3日〜3月5日，2012年．
    28. 柏木 裕希, 清木 康：「ベースボールにおける投球パターン分析を対象としたデータ・マイニング方式とその投球予想への応用」，第4回データ工学と情報マネジメントに関するフォーラム（DEIM2012），8 pages，3月3日〜3月5日，2012年．