1.背景

　近年PDAや携帯電話の普及により、モバイル環境におけるコンピュータの使用が一般化しつつあるが、そうした場面では従来のPC環境とは異なる、小型軽量で使いやすい入出力インタフェースが必要とされている。これまでも、こうしたモバイル・コンピューティング環境における入力インタフェースの研究は多数行われてきたが[1][2][3][4]、その多くはより効率的な文字入力方法に焦点を当てたものであり、より自然な入力方法についてはほとんど考慮されてこなかった。
　また、近い将来家庭内にもコンピュータやネットワークが普及すると考えられており、各種の家電製品もネットワークで結合された情報家電となると予想される。そうした状況においては機器の操作がより複雑になると考えられ、各機器ごとに異なる操作を習得していくのはユーザに大きな負荷を与えることになる。そのため、多様な情報家電機器をできるだけわかりやすく、統一の操作で利用できるインタフェースが望まれている[9]。
　 本研究では誰にでもわかりやすく、様々な状況で利用できるインタフェースとして人間の手指を用いたジェスチャに着目し、自然なジェスチャを利用してPDAや情報家電の操作を実現するウェアラブルデバイス"Ubi-Finger"を提案する。

2.Ubi-Finger

2-1.コンセプト
　Ubi-Fingerの主要なコンセプトは(1)ジェスチャを用いた感覚的な入力・操作が可能、(2)モバイル環境に最適化したウェアラブルデバイス、(3)多様な機器操作を共通のインタフェースで実現、といったものである。こうしたコンセプトに基づき、我々はUbi-Fingerに手指のジェスチャを検出するために最低限必要なセンサーと、実世界の情報機器を検知する為のデバイスを搭載することにする。

2-2.センサーと装着負荷
　手指を用いたジェスチャをできるだけ多く認識するには、(1)全ての指の曲げ・伸ばし、(2)手首の角度、を検出する必要がある。しかし、こうしたアプローチは全ての指にセンサーを装着する必要がある為、ユーザの装着負荷を増大し、日常のデバイス使用に支障をきたすことが予想される。また、本研究は情報機器の日常的な操作を主目的とするため、手話や指文字のような複雑なジェスチャ認識が必要となる可能性は少ない。
　 そこで、我々はできるだけ装着負荷の少ない、シンプルなジェスチャ入力を主眼におき、(1)親指・人差し指の曲げ・伸ばし、(2)手首の角度、を中心に検出することにした。装着するセンサーを親指・人差し指中心にまとめることで、既存のジェスチャ入力デバイスより大幅に装着負荷を軽減し、拘束感の少ないデバイスを実現できると考えている。

2-3.デバイス構成
　ここではUbi-Fingerのデバイス構成について述べる。本デバイスは3系統のセンサー（ベンドセンサー、2軸加速度センサー、タッチセンサー）を中心に、実世界の情報機器を特定する為の赤外トランスミッタや、ホストPC・PDA等とシリアル通信を行う為のマイコンから構成される(図1)。 それぞれのセンサーからは(1)人差し指の曲げ・伸ばし、(2)手首の回転角度、(3)親指によるボタン操作、といった情報が入力される。このうち、(1),(2)は主にジェスチャの検出に、(3)は情報機器の検知やジェスチャ入力のトリガーとして利用する。また、実世界の情報機器を特定する為のデバイスとしては、大きさ・汎用性等を考慮して赤外トランスミッタ（赤外LED）を利用する。
　 本システム(図2)においては、ユーザはまず(1)実際の機器を指差し、次に(2)手指を用いた自然なジェスチャを行うことで機器に応じた様々な操作を行うことができる。従来のように機器ごとに全く違う操作方法を覚える必要がないので、ユーザーの学習負荷を軽減し、既存のメタファや身体性をいかした直感的な操作を実現することで誰にでも使いやすいものにできると考えている。我々はジェスチャを利用したデバイス操作の有用性を確認するため、以下のようなプロトタイプを実装した。

図1　デバイス構成イメージ図	図2　システム構成

3.実装

3-1.プロトタイプ
　 我々はジェスチャによる情報機器の操作に焦点を当て、Ubi-Fingerのプロトタイプを作成した(図3)。プロトタイプは小型の指サック型のものであり、人差し指の部分にベンドセンサーと二つのスイッチ、2軸加速度センサーを装着した。また、同じく人差し指の部分に実世界の情報機器を特定するための赤外LEDと、二つの情報提示用LEDを装着している。スイッチを親指で押すことで各種センサーが出力を開始し、そのデータはマイコンを介してホストPCへシリアル転送される。ホストPCでは出力データをもとに手指の形状をリアルタイムに認識し、ソフトウェアの設定に応じてPCの入力や実世界の情報機器の操作を実現する。

図3　プロトタイプ

3-2.アプリケーション
　次に、Ubi-Fingerの有効な活用が期待できるいくつかの実装例を紹介する。

3-2-1.実世界のデバイス操作
　従来我々が実世界の家電機器等を操作する場合、機器（リモコン）毎に大きく異なる操作方法を学習する必要があった。Ubi-Fingerを利用することで、既存のメタファや身体性をいかしたより直感的な操作を実現し、ユーザの学習負荷を軽減できると考えている。今回は具体的アプリケーションとして、人差し指を押し込む動作によるライトのオン/オフや、手首の回転によるTVの音量・チャンネル操作等を行えるシステムを実装した（図4）。本システムでは「スイッチを押す」、「ボリュームを回す」といった既存のメタファを利用することで、ユーザの学習負荷を軽減するよう工夫している。

-ライトを指差し、指を軽く曲げると…		-灯りがつく
図4　実世界のデバイス操作

3-2-2.PCのウインドウ操作 　
　 エディタを利用してプログラミングやテキスト入力を行う際、少しウインドウをスクロールさせて他の部分を参照したいという状況はよく見られる。これまでもマウスホイールやパッドを利用することでこうした操作を行えたが、キーボードから一時的に指を離す必要があり、本来のタスクが中断してしまうという欠点があった。 Ubi-Fingerを利用することでキーボードからほとんど指を離すことなく、最小限の動き（人差し指の曲げ・伸ばし）でウインドウのスクロール操作を行うことが可能になる。

3-2-3.プレゼンテーション支援 　
　 従来我々がPCを用いてプレゼンテーションを行う場合、常にPCの前でプレゼンソフトを操作する必要があった。こうした操作は特に多くの聴衆を前にした状況では煩わしく、時に話の流れを切ってしまう要因にもなっている。
　Ubi-Fingerを利用してプレゼンソフトを操作することで、自分も聴衆もPC操作を意識することなく、より自然な流れのプレゼンテーションを実現できると考えている。現在、指先の簡易ジェスチャを用いたプレゼンソフトの操作を実現している。

4.関連研究

　指装着型デバイスを利用してPCへの入力を行う事例としてはFinger-mountや手指ジェスチャ認識インタフェースが挙げられる。Finger-mount[7]は超音波センサーと二つのボタンを指に装着することで、指先の動きを利用したマウスのポインティング操作を試みている。本研究はポインティング操作に限らず、手指を用いた簡易ジェスチャを利用して携帯端末や情報家電の操作を実現する点が異なる。手指ジェスチャ認識インタフェース[8]は、モバイル環境で4本の手指を利用したジェスチャ認識を行い、マウスのポインティング操作や画面スクロールなどを実現している。本研究は、情報家電など実世界のデバイスを主な操作対象とする点が異なる。
　また、情報家電機器を実世界インタフェースで操作する試みとしてはFieldMouseが挙げられる。FieldMouse[9]はバーコードリーダー等のID検出装置とマウスや加速度センサー等の相対移動検出装置を一体化して、情報機器の感覚的な操作を試みている。本研究は対象となる情報機器を指差すことで特定し、手指のジェスチャでその機器を操作することで、より自然なインタフェースを実現できると考えている。
　ウェアラブルデバイスを利用した装着型リモコンの提案としては指釦やGesture Pendantが挙げられる。指釦[10]は手首に加速度センサーを装着することで指先の打指の有無を検出し、モールス信号のようにOn/Off信号の時系列を用いてコマンド表現を実現する。本研究は手指を利用したシンプルなジェスチャ入力を行うことで、より直感的なデバイス操作手法を実現できると考えている。Gesture Pendant[11]はペンダント型のデバイスに赤外LEDとカメラを搭載し、カメラで認識したジェスチャを用いた家電機器の操作を試みている。本研究は装着型センサーを利用してジェスチャ認識を行っている点で異なる。装着型センサーを用いたアプローチの利点としては、カメラの視野にとらわれずジェスチャ入力を行える点、装着した部位以外の動作を基本的に検出しないため外界のノイズに強い点などが挙げられる。また、家電機器の検知に関しても、指差しのメタファを利用することでより直感的に行うことができると考えている。

5.まとめ

　本研究では、人間の自然なジェスチャを利用して携帯端末や情報家電の直感的な操作を実現するウェアラブルデバイス"Ubi-Finger"を提案し、システムのプロトタイプを試作した。Ubi-Fingerを利用することで、ユーザは様々な情報機器をより便利に、楽しく操作することが可能になるだろう。

参考文献

[1] Fukumoto, M. and Tonomura, Y. Body coupled FingeRing: Wireless wearable keyboard. Proceedings of the 1997 Conference on Human Factors in Computing Systems, CHI. 1997
[2] Sugimoto, M. and Takahashi, K. SHK: Single Hand Key Card for Mobile Devices. Conference Campanion, CHI 1996. 1996
[3] Starner, T. et al. Wearable Computing and Augmented Reality. Technical Report355, MIT Media Lab. 1995
[4] Twiddler2. http://www.handykey.com/site/twiddler2.html
[5] 喜田壮太郎、ひとはなぜジェスチャーをするのか、Cognitive Studies 7(1) 9-21, March, 2000
[6] 指文字50音の紹介, http://tgssvr.tgs.co.jp/finger_1.htm
[7] 亀山研一,吉田充伸, Finger-Mount デバイスを用いた装着型システム,情報処理学会研究報告 Vol.99, No.9 (HI 82-3), January, 1999
[8] 毛利工, 手指ジェスチャ認識に基づくウェアラブル型操作入力インタフェース, ヒューマンインタフェース学会論文誌 Vol.2, No.4, 2000
[9] Siio, I., Masui, T. and Fukuchi, K. Real-world interaction using the FieldMouse. In Proceedings of the ACM Symposium on User Interface Software and Technology (UIST'99). November 1999
[10] 福本雅明, 外村佳伸, "指釦":手首装着型コマンド入力機構,情報処理学会論文誌 Vol.40 No.2, Feb 1999
[11] T. Starner et al. The Gesture Pendant: A Self-illuminating, Wearable, Infrared Computer Vision System for Home Automation Control and Medical Monitoring. Fourth International Symbosyum on Wearable Computers(ISWC2000), 2000

学会発表

◆国際会議
[1]K. Tsukada and M. Yasumura. Ubi-Finger: Gesture Input Device for Mobile　Use. UbiComp2001. Sep, 2001.

◆学会講演会
[1]塚田浩二、安村通晃. Ubi-Finger:モバイル指向ジェスチャ入力デバイスの提案. 情報処理学会研究報告 2001-HI-94. pp.9-14. Jul, 2001.
[2]塚田浩二、安村通晃. Ubi-Finger:モバイル指向ジェスチャ入力デバイスの試作. インタラクティブシステムとソフトウェアIX(WISS2001). pp.119-124. Dec, 2001.