2004年度森基金 研究成果報告書

ユビキタス情報を付加した画像を実現する
環境情報スナップショットの開発

慶應義塾大学
政策・メディア研究科
修士2年
80331940
鈴木源太

はじめに

　本論文は，情報家電やセンサなどユビキタスサービスの情報取得および利用に際し，u-Photo というユビキタスサービスの識別情報や状態情報を記録したデジタルフォトメディアを使い，直感的かつ，効率的にサービスを利用する手法を提案する．

　環境に様々な機器が遍在し，様々な場所で多くのユビキタスサービスが利用可能となる一方で，ユーザの携帯端末やPC からユビキタスサービスを利用する際の情報取得と利用設定の複雑性，情報保存，管理の非効率性の問題が発生する．こうした問題に対し，本研究では，写真撮影による情報取得，写真画像を使ったサービス利用，画像ファイルとしての情報の保存によって，簡単かつ効率的に情報取得，利用，管理することを提案する．さらに，u-Photo を共有，配布することによってユビキタスサービスの情報を共有する新たなユビキタスサービスの利用法も提案する．本研究では，u-Photoと，写真撮影時にu-Photo を生成するシステムであるu-Photo Creator，u-Photoを読み込むことでユビキタスサービスへの写真ベースのユーザインタフェースとなるu-Photo Viewerについて設計，実装する．

u-Photo

本研究は，情報家電機器，ネットワークセンサによって実現される実世界上のアクチュエーション，センシングというユビキタスサービスを対象とする．本研究では写真撮影により，これらのユビキタスサービスに関する以下の3つの情報を取得し，これらをまとめて画像ファイル形式であるJPEGを拡張したu-Photoメディアとして保存する．

写真画像 情報家電機器，センサ情報を取得したいエリアなどを撮影した画像情報．
対象となるサービスのネットワーク情報 ユビキタスサービスのURL，IPアドレスなどのネットワーク情報．ネットワークセンサ情報取得用GUI，ネットワークエアコン用GUIなどのクライアントアプリケーションに対して，必要となるネットワーク情報を入力するためのものである．
対象となるサービスのステータス情報 写真画像に写っている時点でのセンサ情報，情報家電機器の状態（例：今エアコンはOFFである，〜というビデオの３：３０めを再生している　等）といったユビキタスサービスのステータス情報．写真画像とマップして後に参照できるほか，ある時点でのサービスを別の場所や時間で再現するサービスローミングにも利用できる．

u-Photoを用いたユビキタスサービスの利用例を下図で示す．u-Photoを専用ビューアで開くと，画像上にユビキタスサービスの存在を示すマーカが付けられており，それを選択することで，ユビキタスサービス用のGUIが呼び出される．この際，IPアドレス入力等の面倒な作業無しに，直感的に呼び出しを行える．また，JPEGメディアとして保存することで複数のu-Photoファイルがあった場合に，画像を見ながら情報を直感的に検索できる．

図: u-Photo利用イメージ

u-Photo内のネットワーク情報とステータス情報は，画像中のサービスを示す座標とともにXML形式で記述され，撮影画像のJPEGコメントエリアに保存される．XML例を以下に示す．

<u_photo width="640" height="480">
　<timestamp>Thu Sep 09 15:53:00 BST 2004</timestamp>
　<location>Ubicomp Demo</location>
　<focusing_area>
　 <service_eyemark id="2" name="TV">
　　<coordinate>
　　　<x>346</x> <y>300</y>
　　</coordinate>
<appliance id="2" name="TV" eyemark_type="in">
<wapplet name="TV">
<media_type>av</media_type>
<state>QTAVWapplet|20|rtsp://192.168.1.226/switch1_low.mov|0|533310</state>
<time>0</time>
<service_provider>AVProvider</service_provider>
<ip>192.168.1.226</ip>
</wapplet>
</appliance>
<sensor id="102" name="Mica2" eyemark_type="near">
<sensor_appli name="brightness">
<value>4352.0</value>
<ip>192.168.1.226</ip>
<port>61284</port>
<get_command>GET 2 PHOTO</get_command>
</sensor_appli>
<sensor_appli name="temperature">
<value>61187.0</value>
<ip>192.168.1.226</ip>
<port>61284</port>
<get_command>GET 2 TEMP</get_command>
</sensor_appli>
</sensor>
</service_eyemark>
</focusing_area>
</u_photo>

写真撮影によるu-Photoの生成

ユーザの写真撮影のアクションによってu-Photoが生成される．下図にて，撮影用カメラ，撮影対象，撮影風景，撮影用GUIを示す．

図: 写真撮影によるu-Photoの生成

カメラデバイス

図左上は，u-Photoを撮影するカメラデバイスとして用いたSony Vaio typeUにUSBカメラを取り付けたものである．ネットワークコネクティビティ，実装したソフトウェアが動作するJava環境を持つデジタルカメラが現在無いためこのようなデバイスを用いたが，将来的には通常のデジタルカメラで実現されることが想定される．今回の実装で，u-Photoを撮影する様子を図右上に示す．Vaio ｔｙpe Uのディスプレイには図右下で示す撮影用GUIが表示される．GUI上のシャッターボタンを押すと，写真が撮影され，u-Photoを生成できる．

画像と情報とのマッピングの認識方法

画像中にどのようなサービスが写っているかを検知するために，情報家電や部屋のインテリアなどサービスの視覚的目印となる実世界オブジェクトをサービスアイマークとして設定し，これらにARToolkit のVisual Markerと呼ばれる画像解析用タグを取り付けた（図左下）．写真撮影時に画像中のサービスアイマークを画像解析によって検知し，その情報を元に，対象となるサービスのネットワーク情報，ステータス情報を環境側のサーバや各機器から取得する．

u-Photo ビューア

撮影したJPEG形式のu-Photoメディアは，Windows画像ビューア等の一般的な画像ビューアでも画像のみは閲覧可能である．しかし，専用のu-Photo Viewerで開くことで，u-Photoが取得したユビキタスサービスの情報を表示し，サービスを利用できる．

　実装したu-Photo ビューアでu-Photoを開き，サービスを利用する例を下図で示す．u-Photoを開くと，ユビキタスサービスのサービスアイマーク（例では扇風機とディスプレイ）上に赤いアイコンとサービスアイマークの名前が表示される．これをクリックすると，そのサービスアイマークに登録されたサービスがポップアップとして表示される．下図では，扇風機をクリックすると扇風機操作のサービスが登録サービスとしてポップアップされる．一つのサービスアイマークに複数のサービスが登録されている場合は，複数個の名前がポップアップ上に表示され，選択できる．ポップアップ中から利用したいサービスを選択すると，該当サービスのGUIが表示され，そこからIPアドレスなどの入力無しにサービスを利用できる．

図: u-Photo ViewerのGUIシーケンス

発表論文

本研究の成果として，本年度に以下の論文の発表を行った（4番目については採録が決定済で5月に発表予定である）．

おわりに

本研究では，ユビキタスコンピューティング環境で想定される様々なユビキタスサービスを直感的に利用し，利用したサービスの情報を効率的に管理するための手法として，写真メディアを用いた手法を提案した．本研究の成果は，現時点で国内学会での発表，国内，国外でのデモンストレーションのほか，国際学会のfull paperが採択されている．