2009年度 学術交流支援資金 電子教材作成支援:マルチメディア知識ベース構築論
研究成果報告
- 科目名: マルチメディア知識ベース構築論
- 研究代表者氏名: 清木 康 政策・メディア研究科委員
■本プロジェクトの背景および目的
本研究は、本塾の各キャンパス内に蓄積された多様な学問領域のマルチメディア知識情報源、特に、時間的な内容(ストーリ)変化を伴う動画像によるe-learning教材を対象として、履修者のコンテキスト(時間・空間・意味・感性)に応じた授業教材自動配信機構を実現する。これまでの研究実績として、我々は、フィンランド・タンペレ工科大学、米国UCSD、インドネシア・スラバヤ工科大学、タイ国立電子情報通信研究所とのマルチメディアDB研究プロジェクトでの国際的共同研究を進めている。本研究では、これらの国際共同研究プロジェクトを発展させ、本教材自動配信システムの国際的規模の利用環境を構築する。本システムは、これまで直観的な情報獲得が困難であったストーリ性を有する電子教材メディアデータを対象として、履修者のコンテキストに合致する教材の選択的自動配信環境を実現する、新しい教材配信・学習支援システムとして位置付けることができる。
■2009年度の活動報告
本教材配信システムは、研究代表者が2006--2008年度の研究により実現したアクティブ・マルチデータベースシステムを前提として、(1)キャンパスネットワーク環境上の動画像メディアデータ群を自動的に集約・分析する機能、および、(2)授業履修者のコンテキスト(時間・空間・意味・感性)を抽出し、「その時・その場所」に応じた教材を自動的に学習者に配信する学習支援機能を有する。授業履修者のコンテキストに応じた教材配信機能を有する本システム構築は、学生が講義で得られた知識・技能を実生活空間で実際に活用・追体験できるような“生活空間における実践的体験学習”環境を実現するものであり、本システムをSFCの授業に適用し、日常的、恒常的かつ継続的な学習を、学習者の日々の実体験と連動させながら、学生生活の中に組み込むことが可能となる。本研究の成果として、マルチメディアデータを自動的に検索・分析し、利用者の興味・関心に合致する情報を抽出・配信・可視化するデータベースシステムMediaMatrixを構築し、発表した [9][13][15][16][17]。
1.招待講演
本研究が実現する“ストーリ性を有する電子教材メディアデータ配信・学習支援システム”は、新しい時代の教育環境、教材提供環境の実現を目指すものである。この新しい形態の教材配信環境についての招待講演を,2009 Asia Pacific Academic Delegation: Microsoft Research Faculty Summitにて行った.また、下記の3件の招待講演、及び、キーノートスピーチを行った。
- Yasushi Kiyoki: “Invited Talk: A Semantic and ”Kansei” Computing System for Analyzing Global Environments”, 2009 Asia Pacific Academic Delegation, Microsoft Research Faculty Summit, Redmond, WA, USA, July 13-15, 2009.
- Yasushi Kiyoki: “Invited Talk: A Cross-Cultural Multimedia System for Joint Research Environments between Thailand and Japan”, NECTEC Annual Conference and Exhibitions 2009, Thailand Science Park, Thailand, Sept. 23-25,, 2009.
- Yasushi Kiyoki: “Keynote Speech: Future Directions on Multimedia Knowledge Base Systems with Semantic Associative Search and Analysis: A ”Kansei” Approach to Image, Music and Video Databases by the Mathematical Model of Meaning (MMM) ”, National Database Conference 2009, Nanchang, China, Oct. 15-18, 2009.
2.実現システム
本研究の成果として、次の2システムを実現し、日本・米国・フィンランドの3ヶ国間において、遠隔かつ対話的なリアルタイムの文化交流を実現した。(システム1)対話型3次元マルチメディア・オブジェクト(たとえば、立体的な情報通信機器画像、3次元地理情報、医療教育における臓器の立体画像など)を共有、共同作成、協調操作するための共有空間遠隔操作システム、および、(システム2) 遠隔ディスカッション、および、遠隔メディア構築の結果を対象とした遠隔協調データマイニング・システム。具体的には、次の3項目を実施した。
- マルチメディア情報を対象にしたアクティブデータベースシステム技術の実現:教材は単純なテキスト情報ではなく,画像や音楽などのマルチメディア情報を含んでいるため,それらを意味的に検索・発見し,履修者に通知可能なアクティブデータベースシステムを実現した.
スマートフォン上の組み込み開発ツールキットを用いて、ユビキタス遠隔協調対話システムへのアクセス・システムを実現するためのシステム基本設計を行った。実現システムとして、その時、その場でもっとも必要な教材を活用するユビキタス学習支援システムとして、生活空間における実践的体験学習環境を実現した(図2)。本システムは、スマートフォン(iPhoneなど)のGPS機能を用いて利用者の現在位置を認識し、場所と時間、及び、利用者の属性情報に応じた教材配信を実現した。
- 理解度別の教材配信ルールの開発: 履修者の理解度別に,提供する情報を変えることで,きめ細かい教材の利用が可能となる.そのために,教材を理解度別に配信するアクティブ・ルールを設計・実装する.
- 実験システムによる評価: この段階は,(1),(2),(3) において実現した機構をアクティブ・マルチデータベースシステムとして連結し,塾内に散在する知識情報を対象とした能動的な情報配信の精度,および,システムのスケーラビリティに関する実験を行い,その有効性を検証する.
- マルチメディア情報を対象にしたアクティブデータベースシステム技術の実現:教材は単純なテキスト情報ではなく,画像や音楽などのマルチメディア情報を含んでいるため,それらを意味的に検索・発見し,履修者に通知可能なアクティブデータベースシステムを実現した.
|
|
図1.アクティブ・マルチデータベースシステムの概要 |
図2.本システムは、スマートフォンのGPS機能を用いて利用者の現在位置を認識し、 場所と時間、及び、利用者の属性情報に応じた教材配信を実現 |
■主要な学術的成果
- Minoru Kawamoto and Yasushi Kiyoki: “Domain Specific Knowledge Space Creation Process for Semantic Associative Search”, Information Modelling and Knowledge Bases, Vol. XX, pp.253-260, May, 2009.
- Shiori Sasaki, Yoshiko Itabashi, Yasushi Kiyoki and Xing Chen: “An Image-Query Creation Method for Representing Impression by Color-based Combination of Multiple Images”, Information Modelling and Knowledge Bases, Vol. XX, pp.105-112, May, 2009
- Marie Duzi, Anneli Heimburger, Takehiro Tokuda, Peter Vojtas and Naofumi Yoshida: “Multi-Agent Knowledge Modelling”, Information Modelling and Knowledge Bases, Vol. XX, pp.411-428, May, 2009.
- Shlomo Dubnov and Yasushi Kiyoki: “Opera of Meaning: film and music performance with semantic associative search”, Information Modelling and Knowledge Bases, Vol. XX, pp.384-391, May, 2009.
- Yusuke Takahashi and Yasushi Kiyoki: “A Metalevel Database System for Personal Career Opportunity Analysis by Connecting Occupational and Educational Databases”, Information Modelling and Knowledge Bases, Vol. XX, pp.270-289, May, 2009.
- Ali Ridho Baracbah and Yasushi Kiyoki: “An Image Database Retrieval System with 3D Color Vector Quantization and Cluster-based Shape and Structure Features”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
- Yasuhiro Hayashi and Yasushi Kiyoki: “An Image-Query Creation Method for Expressing User’s Intentions by Combining Multiple Images”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
- Shiori Sasaki, Yusuke Takahashi and Yasushi Kiyoki: “The 4D World Map System with Semantic and Spatio-temporal Analyzers”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(20 pages, To Appear), May, 2010.
- Shuichi Kurabayashi, Shlomo Dubnov and Yasushi Kiyoki: “JoinSee: A Real-Time and Collaborative Hyper-Media System for Participatory Performances in the Opera of Meaning”, Information Modelling and Knowledge Bases, Vol. XXI, pp.(5 pages, To Appear), May, 2010.
- Ali Ridho Baracbah and Yasushi Kiyoki: “A Pillar Algorithm for K-Means Optimization by Distance Maximization for Initial Centroid Designation”, Proceedings of the IEEE international Symposium on Computational Intelligence and Data Mining (CIDM2009), pp.61-68, March, 2009.
- Ali Ridho Baracbah and Yasushi Kiyoki: “Cluster Oriented Image Retrieval System with Context Based Color Feature Subspace Selection”, Industrial Electronics Seminar (IES2009), pp.C101-C106, Octover, 2009.
- Ali Ridho Baracbah and Yasushi Kiyoki: “A New Approach for Image Segmentation using Pillar-Kmeans Algorithm”, Proceedings of the International Conference on Pattern Recognition and Computer Vision (ICPRCV2009), pp.18-23, November, 2009.
- Jeremy Hall, Shuichi Kurabayashi and Yasushi Kiyoki: “Multimedia Data Analysis on a Massively Distributed Parallelization Network of Anonymous Web Clients”, The 2010 IEEE International Symposium on Mining and Web (MAW10), pp.(6 pages, To Appear), April, 2010.
- Kosuke Takano, Shuichi Kurabayashi, Xing Chen and Yasushi Kiyoki: “An Adaptive SearchSystem using Heterogeneous Document Vector Spaces”, Proceedings of the 2009 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing (PACRIM 2009), pp.193-198, August, 2009.
- Shuichi Kurabayashi, Taichi Ueno and Yasushi Kiyoki: “A Context-Based Whole Video Retrieval System with Dynamic Video Stream Analysis Mechanisms”, First International Workshop on Content-Based Audio/Video Analysis for Novel TV Services in conjunction with the 11th IEEE International Symposium on Multimedia (ISM2009), pp.505-510, December, 2009.
- Shuichi Kurabayashi and Yasushi Kiyoki: “A Video Stream Retrieval System with Mechanisms for Mining Contexts of Query Examples”, The 15th International Conference on Database Systems for Advanced Applications (DASFAA2010), pp.(4 pages, To Appear), April, 2010.
- Takahiro Hiruma, Shuichi Kurabayashi and Yasushi Kiyoki: “Cross-Media Association Engine for Evaluating Emotive Effects of Advertisement Video Data Streams”, Proceedings of The 13th IASTED International Conference on Software Engineering and Applications (SEA2009), pp.258-
261, November, 2009.
- Keita Moriya, Shiori Sasaki and Yasushi Kiyoki: “A Regional Characteristics Visualization System by Dynamic Text Data Processing”, Proceedings of The 13th IASTED International Conference on Software Engineering and Applications (SEA2009), pp.250-257, November, 2009.