2001年度 森泰吉郎記念研究振興基金　研究助成金

プロジェクト科目助成費 B 報告書

キャンパス間異種情報源を連結するマルチメディアデータベースサーチエンジンの研究

研究組織
氏　　　名	所属・職名・学年等	研究分担課題
清木 康	環境情報学部・教授	研究代表者：システム基本設計および研究の総括
古川 康一	環境情報学部・教授	システム設計および応用システム設計
武藤 佳恭	環境情報学部・教授	システム設計および性能評価
花田　光世	総合政策学部・教授	応用システム設計
金子　郁容	政策・メディア研究科・教授	システム設計および性能評価
吉田 尚史	政策・メディア研究科・講師	メタデータ構成設計およびシステム実現
石橋 直樹	政策・メディア研究科・博士課程・３年	メタデータ構成設計およびシステム実現
酒井 大	政策・メディア研究科・修士課程・２年	メタデータ自動抽出機構の設計および実現
図子 泰三	政策・メディア研究科・修士課程・２年	エージェントロボット機構の設計および実現
佐々木 秀康	政策・メディア研究科・修士課程・２年	メタデータ自動抽出機構の設計および実現
石原 冴子	政策・メディア研究科・修士課程・２年	インタフェースサブシステムの設計および実現

１．研究の概要

本研究では，本塾内キャンパス間に分散する異種情報源を連結するマルチメディア・データベース・サーチエンジンの実現を目的とする．本サーチエンジンの全体図を図１に示す．本マルチメディア・データベース・サーチエンジンは，パターンマッチングによる連想検索機能と意味的連想検索機能[1,2,3,4]を組み合わせたサーチエンジンであり，画像メディアおよび音楽メディアのメタデータ自動抽出機構を有する新しいサーチエンジンとして位置付けられる．本サーチエンジンは，ＷＷＷ上を自動巡航するエージェントロボットの機能により，画像メディアおよび音楽メディアのメタデータベースを自動生成する機構を有する．また，本エンジンは，マルチメディアデータを対象とした意味的連想処理機構を[1,2,3,4]用いて感性情報検索を実現する．本研究により，本塾内キャンパス間に分散するマルチメディアデータベースを対象として，印象語によって表現された特徴によるデータベース検索が可能となった．さらに，画像などのメディアデータを検索キーとして入力し，他種類のメディアデータ群を検索する異種メディア間検索が可能なマルチメディア・データベース・サーチが可能となった．本研究により，キャンパス間，主に，各キャンパスのメディアセンター間に分散するマルチメディアデータベース群を対象として，マルチメディアデータの高度な獲得の機会が拡大し，グローバルキャンパスの高度情報化を大きく推進することが可能となった．

また，本研究の成果として，国際論文誌３件，国内論文誌５件，国際会議論文（査読付き論文）１件，国内シンポジウム論文（査読付き）６件，国内研究会論文３件，計１８件の論文発表を行った．

図１：システム・アーキテクチャ

２．研究の位置付け

２．１ 目的

本研究は，キャンパス間のネットワーク上に独立に蓄積されているマルチメディアデータを対象として，印象語により特徴を表現した入力キーワードまたはマルチメディアデータを入力として与えると，入力に意味的に相関の強いマルチメディアデータ群を検索するデータベース・サーチエンジンの実現を目的とした．

２．２ 背景

現在，コンピュータネットワーク環境には多数のマルチメディアデータ群が存在しており、マルチメディアデータ獲得の可能性が拡大している．しかし，本塾においても、キャンパス内外に散在する多数のマルチメディアデータを対象とした適切な情報獲得および知識発掘は困難であり，それらを可能とするマルチメディア・データベース・サーチエンジンの実現が期待されている．ＷＷＷ環境において数多くのサーチエンジンが実現されているが，その多くはドキュメントデータを対象とした文字列検索のサーチエンジンであり，検索キーワードが含まれているドキュメントデータを獲得する機能を提供するにとどまっている。また，画像，音楽などのマルチメディアデータを対象としたサーチエンジンは，検索キーワードがURLや名称に含まれているマルチメディアデータを検索可能としているが，それらのサーチエンジンは，印象を表現するキーワードによる検索や，入力として与えたマルチメディアデータに近い印象を持つマルチメディアデータの検索を実現することはできない．現状のサーチエンジンは，検索者の多様な要求に応えられず，コンピュータシステムが単純に実現可能な検索手段をマルチメディアデータに適用しているに過ぎない．

マルチメディアデータベースを対象とした検索方式は，次の2方式に分類される．第1は，検索対象となるメディアデータを対象とした直接検索方式である．この検索方式は，現在，静止画像、音楽データを対象とした検索方式に用いられている．第2は，検索対象となるデータを抽象化したメタデータを対象とした間接検索方式である．メディアデータのメタデータは，メディアデータの有する特徴によって2種類に分類される． メディアデータの第1の特徴は，作品名や作者名といった事実に基づく客観的特徴である．この特徴を表現するメタデータを対象とした検索システムは，従来のデータベースシステムにおいて実現されたパターンマッチングによる検索方式により実現される．メディアデータの第2の特徴は，印象などの感性に基づく主観的特徴である．我々は，メディアデータの客観的特徴を対象としたパターンマッチングによる連想検索機能と主観的特徴を対象とした意味的連想検索機能[1,2,3,4]を統合したメディア検索システムの実現方式をすでに提案している[5,6]．本研究では，この実現方式[5,6]によってマルチメディア・データベース・サーチエンジンを実現し，WWW環境において，そのエンジンを塾内キャンパスに分散するマルチメディアデータベース群を対象としたメディアデータベース検索に適用する．この実現方式により，独自の連想検索機構を有する各ローカルシステムの構成を変更することなく，我々の提案している基本演算子解釈機構を実現することにより，それらの機構群を統合したマルチメディアデータベースサーチエンジンを構築することが可能となる．本研究では，さらに，マルチメディアデータの主要な構成要素である画像メディアおよび音楽メディアから受ける印象を対象とした主観的特徴によるメタデータ自動抽出システムの設計，実験，および，実現を行った．本研究の前提となるメディア検索方式は，検索対象となるデータを抽象化したメタデータを用いて検索を行う方式として位置づけられる．さらに，本研究によるマルチメディアデータを対象としたメタデータ自動抽出機構，既存の意味的連想検索エンジン（意味的連想処理機構[1,2,3,4]），および，エージェントロボット技術を組み合わせることにより，異種メディア間検索を可能とするマルチメディアサーチエンジンを実現する．本研究により， キャンパス間に分散しているマルチメディアデータを対象としたサーチエンジンの実現を目的とした．

３．実現方式

３．１ メタデータベースシステム

マルチメディアデータを対象としてパターンマッチングによる連想検索機能と意味的連想検索機能との両機能を連結するメタデータベースシステムを実現した．このシステムは，次の2ステップにより実現される[5,6]．

l Step-1: 検索対象の全データ集合からパターンマッチングによる連想検索により，パターンに合致するデータ群を抽出する．

l Step-2: Step-1において抽出されたデータの集合を，意味的連想検索により与えられた検索語に意味的に近い順に順序付けする．

これらステップを実現するために，本システムでは3種類の基本機能を設定する．パターンマッチングによる連想検索系には，メディアのメタデータとしてメディアの名前，作者，作成日時などが格納され，また，意味的連想処理系には，メディアデータのメタデータとして，意味空間（メタデータ空間）上のベクトル（メディアデータベクトル）群が配置されているものとする．

基本機能1: パターンマッチングによる連想検索機能

パターンマッチングによる連想検索の実現には，関係データベースシステムを用いる．関係データベースシステムの基本機能により，与えられたキーワードと同じパターンをもつデータ群を取得し，それらのデータの識別子の集合を抽出する．

本研究では，この機能を既存の関係データベースシステムを用いて実現した．

基本機能2: 意味的連想検索機能

意味的連想検索機構[1,2,3,4,5,6]では，与えられたキーワードとの意味的な相関が最も近い順にデータを並べかえることが可能である．この手続きは次のような手順により行われる．

Step-1: 文脈理解

文脈として与えられた検索語列より，文脈理解を行う．

Step-2: データの選択

与えられた検索語列と意味的に相関の強い順にデータを順序付けする．

本研究では，この機能を既存の意味的連想検索機構[1,2,3,4,5,6]を用いて実現した．

本基本機能の概要については，３．２節で述べる．

基本機能3: 連想検索の統合機能

本実現方式では，両連想検索機能を統合する．本統合機能により，既存のシステムを容易に統合することを可能にしている．既存のシステムを直接連結するのではなく，各既存システムを統合機能によって連結することにより，異種の既存のシステム群の統合を実現している．

３．２ 意味的連想検索機構の概要

人間が様々な印象を表す際に用いられる単語(以下，印象語)によって表現した問い合わせに対応したメディアデータを検索することを目的とした意味の数学モデルによるメディアデータ検索方式の概要を示す．詳細は，文献[1,2,3,4,5,6]に述べられている．

1. メタデータ空間MDSの設定

　検索対象となるメディアデータをベクトルで表現したデータをマッピングするための正規直交空間(以下，メタデータ空間MDS)を設定する．

2. メディアデータのメタデータをメタデータ空間MDSへ写像

　設定されたメタデータ空間MDSへメディアデータのメタデータをベクトル化し写像する．これにより，同じ空間に検索対象データのメタデータがメタデータ空間上に配置されることになり，検索対象データ間の意味的な関係を空間上での距離として計算することが可能となる．

3. メタデータ空間MDS の部分空間(意味空間)の選択

　検索者は与える文脈を複数の単語を用いて表現する．検索者が与える単語の集合をコンテキストと呼ぶ．このコンテキストを用いてメタデータ空間 MDS に各コンテキストに対応するベクトルを写像する．これらのベクトルは，メタデータ空間 MDS において合成され, 意味重心を表すベクトルが生成される．意味重心から各軸への射影値を相関とし, 閾値を超えた相関値(以下，重み)を持つ軸からなる部分空間(以下，意味空間)が選択される．

4. メタデータ空間MDS の部分空間(意味空間)における相関の定量化

　選択されたメタデータ空間MDS の部分空間(意味空間)において，メディアデータベクトルのノルムを検索語列との相関として計量する．これにより，与えられたコンテキストと各メディアデータとの相関の強さを定量化している．この意味空間における検索結果は，各メディアデータを相関の強さについてソートしたリストとして与えられる．

３．３ 画像メディアを対象としたメタデータ自動抽出機構

画像メディアから受ける視覚的印象に大きな影響を与える要素として，色彩情報が考えられる．本研究では，色彩情報のみに注目して画像メディアから印象語を抽出する．画像メディアの色彩情報，および，色彩情報と印象語との関係に関する統計データを用いることで，静止画像からの印象語の抽出を行った[2]．

色彩情報と人間に与える印象に関する研究として，マンセル表色系の研究がある．マンセル表色系は，色彩心理学の分野で多く利用されている．本研究では，客観的な印象語によるメタデータの生成のために，色彩情報と印象語との関係に関する色彩心理学分野の統計データを用いる．入力となる画像メディアの表色系をマンセル表色系に変換することによって，色彩学分野の統計データの適用が可能になる．

マンセル表色系は，Munsell,A.H.により1905年に創案され，やや修正された修正マンセル表色系がJIS Z-8721(1958年)とされている．マンセル表色系は，色彩の三属性である色相 (Hue)，明度(Value)，および，彩度(Chroma)を用いて色彩を表現する系の一つである．マンセル表色系において色相，明度，および，彩度は，感覚的に等差になるよう定められている．例えば赤(R)と黄(Y)の中間には，橙(YR)が来る．マンセル表色系は，人間の感覚を基準とした等差知覚表色系であるために色彩心理学の分野で多く利用されている（図２）．各々の色相には，明暗，濃淡，派手，地味などのように共通した色の状態(調子)がある．この色の調子を，色調と呼ぶ．色調は，図２に示すように明度と彩度との相互の関連のもとに成り立っている．同じ色調の色は，似た印象を持つ．有彩色から受ける印象は，色相と色調によって分類することが可能である．色から受ける印象は，同じ色相でも異なる色調であれば異なる．逆に同じ色調でも色相が異なれば，異なった印象を受ける．無彩色から受ける印象は，明度によってより詳細な分類を行うことができる．

図２： マンセル表色系

３．４ 音楽メディアを対象としたメタデータ自動抽出機構

音楽メディアが人間に影響を与える要因として，音楽メディアの形態や構造が考えられる．この要因により喚起される印象とは，音楽メディアそのものから受ける印象である．音楽メディアの形態や構造を決定する構造要素には，音楽メディアを構成するリズムや和声，旋律，などがある．作曲家が音楽メディアを作るとき，構造要素を考慮しながら音楽メディアを構成し，自分のイメージを音楽メディアに反映させている．したがって，音楽メディアの構造要素に関する情報から音楽メディアの印象を抽出することにより，音楽メディアの印象を抽出することが可能となった[8]．

音楽メディアの構造要素とそれらが人間に与える印象の関連については，音楽心理学という分野において研究されている．本研究では，この音楽心理学の研究成果を適用し，音楽メディアデータを対象とした印象語によるメタデータの自動抽出機構を実現する．

本研究では，音楽心理学の研究のひとつであるHevnerの研究[7]を適用する．この研究では，楽曲構造要素として調性(key)・テンポ(tempo)・音高(pitch)・リズム(rhythm)・和声(harmony)・旋律(melody)の6つを挙げている．この6つの楽曲構造要素は，楽曲を構成する上で重要な要素である．Hevnerは，この6つの楽曲構造要素と8つの印象語群(図３)によって表現される印象との相関関係を調べた．8つの印象語群は，印象語間で類似性が高いものが1つの印象語群となるように形成されている．さらに，8つの印象語群は，印象語群間で類似性があるものを隣接するように円形に配置されている．

図３：８種類の印象語群

４．実験

４．１ 概要

本サーチエンジンの基礎となる画像メディアメタデータ抽出機構，および音楽メディアメタデータ自動抽出機構の有効性をについて示す．実験Aとして，静止画像を対象として画像メディアメタデータ抽出機構により適切な印象が抽出可能なことを示す[9]．実験Bとして，音楽メディアメタデータ自動抽出機構により，音楽データを対象として適切な印象が抽出可能なことを示す[8]．

４．２ 実験環境

実験システムでは、色-印象語間の関係についての統計データとして、カラーイメージスケール[10]（以後，CIS）に掲載されているデータを用いた。この統計データは、マンセル色空間における10色相、図3で示される12色調で表現される120色、および、10階調で表される無彩色10色の計130色の単色(基本130色)から受ける印象のアンケートをとりSD法を用いて整理したものであり、これを使用することにより基本130色の色印象ベクトルを構成する。

CISにおける単色から受ける印象の統計データは、180語の印象語に対して5段階で評価することで各色から受ける印象を表現している。5段階評価を、評価5なら1.0，評価4なら0.8，…, 評価1なら0.2と数値化することで色印象ベクトルを生成した。色印象ベクトルの特徴は、統計データで用いられている印象語180語とした。

４．３ 実験方法

実験Aとして，実際の静止画像データの印象抽出を行った．入力画像データとして、4枚の静止画像を用意した。静かでおちついた感じのする日本庭園の静止画像を、静止画像Aとする

(図４)。明るい感じのする夕焼け空の静止画像を、静止画像Bとする(図５)。紅葉の風景の静止画像を、静止画像Cとする(図６)。厳かな感じのする雪山の静止画像を、静止画像Dとする(図７)。抽出された印象の重みの重いものの上位5位のものを示した。

図４：実験Aの静止画像A

図５：実験Aの静止画像B

図６：実験Aの静止画像C

図７：実験Aの静止画像D

実験Bとして，楽曲メディアデータを対象とした印象抽出に関する実験を行った．実験Bに用いた楽曲は，任意の44曲である。図８に、44の楽曲のリストを示す。

図８：実験Bの対象データ

４．４ 実験結果

静止画像データを入力し抽出された印象語を、表１に示す。

表１：実験Aの結果

実験Bについて，「幸せなら手を叩こう」，「交響曲 第3番(ブラームス)」，「四季の歌」，「聖しこの夜」の楽曲を入力として得られた印象抽出結果を，図９に示す．ここで，出力結果は，各印象を楽曲と印象との相関度によって昇順にソートしたリストとして示す．

図９：実験Bの結果

４．５ 考察

実験Aについて，次のように考察できる．静止画像Aに関しては、静かで落ち着いたイメージに近い印象語が抽出されている。静止画像Bに関しては、夕日の暖かいイメージに近い印象語が抽出されている。静止画像Cに関しては、紅葉で枯れた感じのする秋の風景であり抽出された印象語は適切であると言える。静止画像Dに関しても、静止画像の印象がうまく抽出された。実験2により、本研究による方式を用いて静止画像データを入力し静止画像の印象に近い印象語を抽出することが出来ることが分かった。

実験Bについては，次のように考察できる．「幸せなら手を叩こう」は「楽しく、快活で、鼓舞するような印象」、「交響曲 第３番(ブラームス)」は「悲しく、感傷的な印象」、「四季の歌」は「感傷的で、穏やかな印象」、「聖しこの夜」は「神聖で、幸せで、優雅で、穏やかな印象」が抽出されている。各楽曲において抽出された印象は、各楽曲の印象をよく表していると考えられる。したがって、本研究による方式により、楽曲の印象を抽出できることが確認できた。

以上により，画像メディアメタデータ抽出機構，および，音楽メディアメタデータ自動抽出機構の実現可能性および有効性が確認された[8][9]．

５．研究成果

国際論文誌：

T. Kitagawa, Y. Kiyoki, Fundamental framework for media data retrieval systems using media-lexco transformation operator, Information Modeling and Knowledge Bases, IOS Press, Vol.12, pp. 316-326, May 2001.

X. Chen, Y. Kiyoki, T. Kitagawa, A semantic metadata-translation method for multi-lingual cross-language information retrieval, Information Modeling and Knowledge Bases, IOS Press Vol.12, pp.299-315, May 2001.

Dai Sakai, Yasushi Kiyoki, Naofumi Yoshida, Takashi Kitagawa, ``A Semantic Information Filtering and Clustering Method for Document Data with a Context Recognition Mechanism,'' Information Modeling and Knowledge Bases, IOS Press, (accepted), Vol. 13, May 2002.

国内論文誌：

図子 泰三,吉田 尚史,清木 康: ``ドキュメントデータ群を対象とした文脈依存動的クラスタリング再帰的適用による意味的知識発見方式,''情報処理学会論文誌, (accepted), Vol.43, No.SIG2(TOD13), 2002.

佐々木 秀康, 清木 康: ``マルチメディアデータベースを対象とした検索エンジンの処理最適化パラメータ設定による特許取得方式,''情報処理学会論文誌, Vol.42, No.SIG10(TOD11), pp.22--38, 2001.

佐々木 秀康, 清木 康: ``メディア検索エンジンの特許取得によるマルチメディアデータベースの権利保護方式,''情報処理学会論文誌, Vol.43, No.SIG2(TOD13), (accepted), 2002.

石橋 直樹, 細川 宜秀, 清木 康: ``時空間的文脈に応じた 動的関連性計量機構を有する異種データベース間結合方式'', 情報処理学会論文誌: データベース(TOD12), (accepted), 2002.

北川 高嗣，中西 崇文，清木 康，楽曲メディアデータを対象としたメタデータ自動抽出方式の実現とその意味的楽曲検索への適用，電子情報通信学会論文誌，(accepted), 2002

国際会議論文（査読付き論文）：

S. Kurabayashi, N. Ishibashi and Y. Kiyoki, ``A Multidatabase System Architecture for Integrating Heterogeneous

Databases with Meta-Level Active Rule Primitives'', Proceedings of the 20th IASTED International Conference on Applied Informatics, Feb. 2002.

国内シンポジウム論文（査読付き）：

石原冴子，清木康，吉田尚史："異分野データベース群を対象とした意味的検索空間統合方式とその実現"，データベースとWeb情報システムに関するシンポジウム論文集（Proceedings of DBWeb2001），Vol.2001, No.17,pp.265-272, 2001.

伊地智麻子，石橋直樹，清木 康：“音楽データの印象の時間的推移を扱うメタデータ自動生成方式”データベースとWeb情報システムに関するシンポジウム（DBWeb2001），pp.241-248，2001．

細川宜秀，清木康：文脈認識を伴った時空間的関連性評価機構を有するドキュメント・データ検索システムの実現方式，情報処理学会データベースとWeb情報システムに関するシンポジウム(DBWeb2001), pp.257--264(2001).

金子 珠生, 清木 康: ``対象空間における印象に合致する配色の検索および学習機構を有するカラーコーディネイトシステムの実現方式,''第13回データ工学ワークショップ(DEWS2002)論文集, 電子情報通信学会,2002.

小川健二, 吉田尚史, 清木康, 藤島清太郎, 相磯貞和: ``SNPおよび臨床データベースを対象としたハプロタイプ解析による知識発見方式とその実現,''第13回データ工学ワークショップ(DEWS2002)論文集, 電子情報通信学会,2002.

河本 穣, 図子 泰三, 清木 康: ``単語の出現頻度を用いたドキュメントデータベースのメタデータ自動生成方式'',第13回データ工学ワークショップ(DEWS2002)論文集,電子情報通信学会, 2002.

国内研究会論文（査読なし）：

大橋 英博, 清木 康: ``情報通信分野を対象とした意味的連想検索機構によるWWW検索エンジンの実現,''情報処理学会研究報告,2001-DBS-125(I), pp.233-240, 2001.

佐々木 秀康, 清木 康: ``メディア検索エンジンの特許取得方式の考察,'' 情報処理学会研究報告，情報処理学会データベースシステム研究会,2001-DBS-124, pp.105--112, 2001.

佐々木 秀康, 清木 康: ``データベース検索機構の特許取得による画像データ権利保護方式,'' 情報処理学会研究報告，情報処理学会データベースシステム研究会, 2001-DBS-125(II), pp.77--84, 2001.

６．参考文献

[1] Kitagawa, T. and Kiyoki, Y.: The mathematical model of meaning and its application to multidatabase systems, Proceedings of 3rd IEEE International Workshop on Research Issues on Data Engineering: Interoperability in Multidatabase Systems, pp. 130-135, April 1993.

[2] Kiyoki, Y., Kitagawa, T. and Hayama, T.: ``A Metadatabase System for Semantic Image Search by a Mathematical Model of Meaning,'' ACM SIGMOD Record, vol. 23, no. 4, pp.34-41, 1994.

(also published as:

Kiyoki, Y., Kitagawa, T. and Hayama, T.: ``A Metadatabase System for Semantic Image Search by a Mathematical Model of Meaning,'' Multimedia Data Management -- using metadata to integrate and apply digital media --, McGrawHill, A. Sheth and W. Klas(editors), Chapter 7, 1998.)

[3] Kiyoki, Y. and Kitagawa, T., ``A semantic associative search method for knowledge acquisition,'' Information Modelling and Knowledge Bases (IOS Press), Vol. VI, pp.121-130, 1995.

[4] 清木康,金子昌史,北川高嗣: ``意味の数学モデルによる画像データベース探索方式とその学習機構,'' 電子情報通信学会論文誌,D-II,Vol.J79-D-II,No. 4,pp. 509-519, 1996.

[5] Y. Kiyoki and T. Kitagawa, ``A metadatabase system for supporting semantic interoperability in multidatabases,'' Information Modelling and Knowledge Bases (IOS Press), Vol. V, pp.287-298, 1994.

[6] Naofumi Yoshida,Yasushi Kiyoki and Takashi Kitagawa,``An Associative Search Method Based on Symbolic Filtering and Semantic Ordering for Database Systems,'' Data Mining and Reverse Engeenering: Searching for Semantics (book), Kluwer Academic Publishers,1999, Spaccapietra Stefanno and Fred Maryanski (Editors), Part Two, Chapter 6, pp.105-128, ISBN 0412822504.

[7] Hevner, K., ``The affective value of pitch and tempo in music,'' American Journal of Psychology, Vol. 49, pp. 621-630, 1937.

[8] 吉野太智,高木秀幸,清木康,北川高嗣,“楽曲メタデータを対象としたメタデータ自動生成方式とその意味的連想検索への適用,”情報処理学会研究報告,98-DBS-116(2),pp.109-116,1998

[9] 小谷拓矢, 清木康, 北川高嗣, “色彩情報による静止画像メタデータ生成方式と意味的画像検索への適用”, 第9 回データ工学ワークショップ(DEWS’98) 論文集, 電子情報通信学会, 1998.

[10] 小林重順，“カラーイメージスケール”，講談社, 1984.