本研究においては、複数の実画像を組み合わせることにより表現可能な検索者の意図に着目し、検索者の意図に対応する動画像検索を実現するための問い合わせ意図解釈機構を動画像レガシーデータベースの上位層に構築する。本年度においては、これまでの成果として提案してきた方式を発展させ、画像の色と形についての検索意図を表現可能とする方式の実現と、その方式の実装に関する取り組みを行った。具体的には、（A）複数の画像の組み合わせによる色と形の意図を表現する画像問い合わせ生成機能の実現、（B）動画像データベースの構築、（C）地域コミュニティにおける実証実験に向けた取り組み、である。これらの取り組み成果・今後の予定について示す。

画像データに代表されるマルチメディアデータが身の回りに溢れるにつれ、検索者の意図に対応する内容 を含むデータを検索するための仕組みが必要になってきている。これまでの内容型画像検索（Content-based Image Retrieval）においては、画像処理により抽出される物理的な画像特徴の類似度を基準として類似画像を検索している。しかしながら、検索者の意図について考慮していないため、検索者が検索したい画像の例示画像を入力しても、意図に関係のない画像が常に検索結果の中に含まれる。ユーザインタラクションにより検索者の意図を推定する適合性フィードバックの適用が提案されているが、検索者は意図に適合する画像を獲得するまで複雑で煩雑な検索手続きを繰り返し行わなければならず、また、意味的・感性的な意図を表現できない問題もある。検索者が自ら検索意図を表現し、その意図に応じた動画像検索機構を実現することができれば、マルチメディアデータの活用範囲を飛躍的に広げることが可能となる。

本研究においては、複数の実画像を組み合わせることにより表現可能な検索者の意図に着目し、検索者の意図に対応する動画像検索を実現するための問い合わせ意図解釈機構を動画像レガシーデータベースの上位層に構築する。これまでの成果として、色に基づく複数の画像データと画像特徴を操作する演算子の組み合わせによる画像問い合わせ生成方式とContent-based Image Retrievalを用いた類似画像検索機構を構築した[1]。構築した問い合わせ生成方式と類似画像検索機構においては、検索者は画像の色についての具体的な意図を複数の画像を用いて表現することができる。しかし、画像に写るオブジェクトの形や色の配置についての意図を考慮していないため、より細かな検索者の意図を表現できない。そこで、これまで提案してきた画像問い合わせ生成方式を発展させ、色と形の両方の意図を検索問い合わせの段階で表現可能とする方法を提案する。提案する方式は、検索者のイマジネーションを実画像として描画し、その画像と実世界のシーンと一致のために、画像データベースの問い合わせ部分に複数の画像群と複数の集合演算子群を配置する。本方式を動画像レガシーデータベースに適用することにより，検索者自ら画像の色と形についての検索意図を反映した問い合わせを記述し，その意図に適合するデータを検索可能とする。

本方式は、画像問い合わせ生成のための画像データベースと検索者の想像上の画像と実際のシーンの組み合わせにより検索者のイメージを表現するための色ベースの集合演算子を実現する。本方式の概要を図1に示す。また、問い合わせ生成演算子の演算は図2に示される。演算子は、AND, OR, MINUS, NOTから構成され、それぞれ色ベースの集合演算を行う。検索者の意図は、それぞれMxNに分割された画像群と演算子の組み合わせにより抽出される画像の有色領域として表現される。意図に関係ない画像領域は透明色として表現される。有色領域は画像データベースの画像特徴空間における部分空間選択に相当するため、この部分空間を画像データベースに伝達することにより、検索者の意図を考慮した動画像検索を可能とする。本方式の詳細は、研究成果2, 5に示される。

図1 画像問い合わせ生成方式の概要

図2 画像問い合わせ生成演算子の概要

本方式の有効性と実現可能性を検証するために、実験システムを構築した。実験においては、複数の画像と問い合わせ生成演算子を組み合わせることにより、特定の意図を表現し、意図に適合する画像が検索可能か、確認を行った。以下にその結果を示す。図3は、実際に生成した画像問い合わせとその問い合わせを生成するための画像と演算子の組み合わせである。今回示す結果では、左側に黒い馬が写る画像を意図として表現している。また、図4に検索結果を示す。実験においては、2種類の類似度計算を行った。1つは、色の画像特徴を表すカラーヒストグラムの重なり度合いを見るヒストグラムインターセクションである。もう1つは、単純なベクトルの内積を採った。どちらの結果も意図に適合する画像が検索されている。内積においては、類似度計量時に、意図に無関係な色の影響を受けるため、ヒストグラムインターセクションよりも、検索精度が悪くなる傾向がある。

図3 画像問い合わせ生成例（意図: 左側に黒い馬がいる）

図4 生成された画像問い合わせによる検索結果

（A）において示した提案方式に基づき、大量の動画像データから画像特徴を抽出するために、実装における処理の高速化が必要となる。提案方式は、代表的なContent-based Image Retrieval[2, 3]のアプローチでも採用されているグリッド方式を用いている。グリッド方式は、画像をMxN分割し、分割領域の主要色をその画像の特徴量として考慮する方式である。しかし、グリッド方式においては、各グリッドの色ヒストグラムに関する特徴空間が潜在的に大きくなる問題がある。このため、動画像データベースのための並列処理用プログラムを実装した。具体的には、クエリ発行のためのプログラムのスレッド化とデータベースコネクションプーリングにより、複数のデータベースに並列的にデータ挿入・データ検索を行う。実験環境においては、画像データベース1台、画像数1000件、M=20、N=20、代表色数130とするとき、並列化されていない状況で、全データ検索に数時間を有したが、並列化することにより、約2分程度と現実的な時間において処理結果を検索者に返すことを可能とした。

本方式を実際に利用可能な画像検索システムとして実現するために、電子メールに添付される画像ファイルを利用した問い合わせインターフェースの実装を行っている。地域コミュニティにおける小学校の総合学習の時間や観光での利用を想定し、これまでに4種類のコミュニティ機能を有するメーリングリストシステムを実装した（図4）。具体的なコミュニティ機能は、図5に示される形態の「管理人型メーリングリスト」、「グループ承認型メーリングリスト」、「紹介型メーリングリスト」、「メールマガジン型メーリングリスト」である。利用者は、電子メールのみを用いてコミュニティを管理し、電子メールによってコミュニティのメンバーと情報共有を図ることができる。本方式の詳細は、研究成果3, 4に示される。

図4 地域コミュニティでの利用を想定したメーリングリストシステム

図5 本システムにおいて運用されるメーリングリストの形態

本方式は、高価なサーバ群必要とせず、PCレベルのスペックにおいて、検索者の意図に適合する画像を検索するために有効である。今後は、本方式を画像フィルタとして用いることにより、他のマルチメディアデータと連携させるための動画像データのメタデータ自動抽出を実現する。また、より使いやすいユーザインターフェースを実装することにより、幅広い年代、多様な価値観を有する利用者でも利用可能なクライアントマシンで利用可能な動画像検索システムを実現する。