マラカス型デバイスを利用して映像を VJ のように操作しながら遊ぶ

エンタテインメントシステム

岩田 幸也

慶應義塾大学大学院 政策・メディア研究科

メディアデザインプログラム

概要: 本研究ではマラカス型デバイスを利用して映像を VJ ( video jockey )のように操作しながら遊ぶ,エンタテインメントシステムを提案する.マラカスの構造特性と「振る」という行為に着目したシステムデザインによって,誰もが直感的・身体的にパフォーマンスを楽しめることを目的としている.そして,従来のテーブルトップ型や GUI に依存した VJ ツールよりも,総合的なパフォーマンスとして VJ の映像操作行為をより魅力的な経験へと進化させることを試みる.

キーワード : エンタテインメント,フィジカルコンピューティング, VJ , DJ ,マラカス,シェイカ

 

Entertainment system that enables users to play with movies like VJ

using maracas shaped special movie controller devices

Yukinari IWATA

Keio University , Graduate School of Media and Governance,

Media Design Program

Abstract : In this paper, I propose an entertainment system that enables users to play with movies like VJ (video jockey) with using maracas shaped special movie controllers. By the system design focusing on the structural feature of maracas and shaking action of them, users can enjoy VJ performance intuitively and physically. And also, it may develop the movie controlling action and give users more fascinating experiences than ordinary desk top VJ tools and GUI VJ tools.

Keywords : Entertainment, Physical Computing, DJ, VJ, Shaker, Maraca

 

はじめに

 本研究ではマラカス型デバイスを利用して映像を VJ ( video jockey )のように操作しながら遊ぶエンタテインメントシステムを提案する.マラカスの構造特性と操作特性に着目したシステムデザインによって、誰もが直感的・身体的にパフォーマンスを楽しめることを目的としている.そして、従来のテーブルトップ型や GUI に依存した VJ ツールよりも,総合的なパフォーマンスとして VJ の映像操作行為をより魅力的な経験へと進化させることを試みる. 本論文では,マラカス型デバイスを VJ パフォーマンスに利用する際のメリット及びインタラクションテクニックについて述べるだけでなく, システムを実装した.

 

rhythmismの背景

Mark Weiser 氏は 1990 年代初めに、 21 世紀のコンピューティングとしてユビキタスコンピューティングを提示し、身の回りのあらゆるものにコンピュータが組み込まれ、我々の生活を豊かにしていくと述べた. そして今日では様々な形でユビキタス化が進み始め、近年では MIT 石井氏が提唱している「タンジブル・ビット」の概念により、ユーザインタフェイスに物理的・身体的な要素を加えることで、デジタル情報を人が直接操作する試みが活発化し, タンジブルコンピューティングによるエンタテイメントコンピューティングへの流れが出てきた.

 この流れの中で,ライブパフォーマンスをタンジブルコンピューティングやフィジカルコンピューティングによって実現した多くの事例がある.これらには方向性として機能重視モデル及びパフォーマンス重視モデルの 2 つが存在し,それぞれがメリットとデメリットを持つ.まず,機能重視モデルは,即興演奏, DJ(Disk Jockey) や, VJ などの特定行為をタンジブル/フィジカルコンピューティングを用いて実現するものであり,ハードウェアとしての DJ システムや VJ システム,あるいはそれらをデスクトップアプリケーション化したソフトウェアと同様の機能に対して,身体性を付与した上で実現することを目的とした試みである.これらは,多機能化及び恣意的な制御性を実現しているものの,テーブルトップのシステムに顕著であるが,身体性の自由度は制限され,パフォーマンスそのものの魅力に欠ける.一方パフォーマンス重視モデルは,身体の動きをリアルタイムセンシングしサウンドやビジュアルエフェクトを生成する試みである.これらは,フィジカルの自由度を確保しパフォーマンスそのものの魅力に長けるものの,機能はシンプルなものにとどまり制御範囲も狭い.

 このような状況に対し,筆者は先行研究に代表される2つのモデルにおけるメリットを保持する新たな VJ パフォーマンスシステム rhythmism を提案する.つまり,機能重視モデルの持つ多機能性及び恣意的な制御性を有しているだけでなく,さらにパフォーマンス重視モデルの持つユーザの身体性における自由度の確保及びパフォーマンスそのものの高い魅力を有するシステムである. rhythmism ではこれらの特徴を 2 つのオリジナルマラカス型デバイス (material maraca / effect maraca) を用いて実現する.それぞれのマラカス型デバイスには, RFID アンテナ, 2 軸加速度センサ,オリジナルローテーションセンサが内蔵され,デバイスの頂点部に開口部を有する.マテリアルマラカスでは,開口部より ID タグ内蔵のマテリアルボールを挿入することで,任意の映像素材を読み込むことが可能である.また, 2 軸加速度センサによって検出される 2 次元空間上のマラカスを振る動きの量により,映像素材の再生スピードが相対的に変化する.さらに,オリジナルローテーションセンサによって検出されるマラカスを回転させる動きにより,読み込まれた複数の映像素材の中から ID 順に 1 つずつの映像素材を読み出し可能である.エフェクトマラカスでは,開口部より ID タグ内蔵のエフェクトボールを挿入することで,任意のエフェクト素材を読み込むことが可能である.また, 2 軸加速度センサによって検出される 2 次元空間上のマラカスを振る動きの量により,各エフェクト素材の特定パラメータが相対的に変化する.さらに,オリジナルローテーションセンサによって検出されるマラカスを回転させる動きにより,読み込まれた複数のエフェクト素材の中から, ID 順に 1 つずつのエフェクト素材を読み出し可能である.

 rhythmism においてマラカス型デバイスを映像素材,エフェクト素材の切り替え及び各パラメータの取得のために用いることは,ユーザビリティ及びアフォーダンスの観点から, 2 つのメリットを持つ.第 1 にマラカスの持つ構造特性によるメリットが挙げられる.インスタルメントとしてのマラカスは,その内部にさまざまなオブジェクトを挿入し,お気に入りの音色を生成可能である.この構造的特性を利用し,マラカス型デバイスに映像素材及びエフェクト素材としての任意のボール型オブジェクトをいれ,ユーザ自身でお気に入りの映像素材とエフェクトを用いてプレイする,というルールを容易に認識させることが可能となる.第 2 にマラカスの持つ操作特性によるメリットがあげられる.誰もが「回す」,「振る」などといった使い方を経験として理解していることから,ユーザビリティの面でインタフェースとしての使い易さが保持されている.また,マラカスの持つラテンミュージックとの不可分性は楽しさの記憶を想起するといえるので、ユーザが抵抗感なく期待感を持ってプレイしようとすることが見込める. rhytmism では以上2つの特性をインタラクションに適用することで,機能重視モデルとパフォーマンス重視モデルの2つのメリットを備えた新たな VJ パフォーマンスシステムを実現する.

 

デザイン及び実装

 rhythmism のハードウェアは,映像素材の選択及び映像素材の再生スピードをコントロールするためのマテリアルマラカス,映像エフェクトの選択及び各エフェクトの特定のパラメータをコントロールするためのエフェクトマラカス,オリジナル VJ ソフトウェアがインストールされたコンピュータ (Intel Mac) 及び生成された映像素材を出力するためのプロジェクタで構成する.さらに,各マラカスには RFID アンテナ, 2 軸加速度センサ, LED とスライドスイッチ,オリジナルローテションスロープが内蔵されている (Figure 1) . RFID アンテナからの情報はコンピュータに RC232 ケーブルで接続される RFID モジュールにより取得する.スライドスイッチや LED の情報は Phidget Interface 8/8/8 により取得する. 2 軸加速度センサからの情報は,コンピュータに RC232 ケーブルで接続される Micro Controller(Basic Stamp) により取得する (Figure 2) . オリジナルスロープは,その側面に開口部を有し,この開口部に赤外線センサを設置する.スロープ内部に直径 11mm ,重さ 5.5g の金属製ボールを挿入し,赤外線センサによりこの金属製ボールの通過を検出する.検出する金属製ボール数は,実際の動作テストの結果, 4 個が閾値であることがわかった. 4 つのボールの連続する通過が検出された場合, USB Interface を通じてアプリケーションに 1 を返し,非検出時には 0 を返す.なお,赤外線センサはスティックに内蔵された LED 及びスライドスイッチと一直線上に位置するようマラカスを設計した.これにより,ユーザがマラカスを把持している初期状態では,赤外線センサの対角線上に金属製ボールが位置することとなる.

 デバイスの造型に関して,デバイスの軽量化を図るため 2mm 厚のプラスチック製球体容器及びパイプを組み合わせて製作する.内部構造においては,球体の底部分に RFID アンテナや 2 軸加速度センサを設置する箇所,容器上部にはオブジェクトを入れる開口部を設ける.そして開口部の形状に合わせたスポンジ状の蓋で開口部を塞ぐ.球体容器は半球体ごとに分かれるようにし,溝の凹凸にそれぞれをはめ込み接合可能にすることでセンサの調整等をしやすい設計にする.また映像素材及びエフェクト素材の読み込みを開始するために必要なスライドボタン及びローディングを示す LED をマラカスの柄にあたる部分に設置する.

Figure 1. マラカス型デバイス内部構成図

 

Figure 2 . rhythmism システムアーキテクチャ version1

 

インタラクションテクニック

 rhythmism で用いるマラカス型デバイスの構造特性を利用して, VJ パフォーマンスにおいて利用する映像素材及びエフェクト素材の読み込みを行なう.まず,ユーザは利用する映像素材及びエフェクト素材をアプリケーション内のテンポラリテーブル上に呼び出すために,個別の ID が振られた RFID インレイを内蔵したボール型オブジェクトをマラカス型デバイス頂点部に加工された開閉部より挿入する.マテリアルマラカスには映像素材オブジェクト,エフェクトマラカスにはエフェクト素材オブジェクトを入れる.オブジェクトを挿入したのち,マラカス型デバイスのスティック部分に設置されたスライドスイッチを on にすることで,アプリケーションは, RFID モジュールを動作させ,マラカスに内蔵された RFID アンテナを通じて,マラカス内部に存在するオブジェクトに内蔵された RFID インレイの ID の読み込みを開始する (Figure5) .読み込み中 LED は明滅し,読み込み終了後 LED は点灯の状態となる.このときスライドスイッチの位置は,ユーザがマラカスを把持する際,親指を上方に向け把持した場合,親指でスライドスイッチを操作できる位置とした.読み込み終了時点で,各マラカス内部に存在するオブジェクトの ID がアプリケーション内のテーブルに格納される.スライドスイッチを off にすることで,テーブル内の情報は消去される.

. STEP1: RFID インレイを内蔵したオブジェクトをマラカスへ挿入する.

Figure5. STEP2 : スイッチを on にすることで,

オブジェクトの ID の読み込みを開始する.

 

 rhythmism で用いるマラカス型デバイスの操作特性のうち「振る」行為を利用して, VJ パフォーマンスにおいて利用する各映像素材の再生スピード及び各エフェクトの特定のパラメータの決定を行なう.マラカスの振る行為をセンシングするために 2 軸速度センサを利用する. Figure1 に示したように,各マラカスに内蔵された RFID アンテナの背面中心部に加速度センサを設置する. Micro controller から 2 軸加速度センサを制御し, 20msec ごとに X 方向と Y 方向の加速度を取得する. Micro controller 上でこれらの値からベクトル XY を算出し,コンピュータ内アプリケーションへ送信する.このとき,加速度のノイズ発生を考慮し, 200msec 内で取得した値をノーマライズすることでセンサのノイズを減少させている.実際の動作テストの結果,マラカス静止時のベクトル XY の値は 0 mxG ,動作時の最大値は約 3000mxG であることがわかった.この範囲内で変動する値をアプリケーション上で相対スケーリングを行い, 0 〜 100 の実数値へ変換する. 各マラカスにおいて取得された値を用いて,それぞれ異なる処理を行なう.

 まず,マテリアルマラカスから取得した加速度に基づく変数 mm(0 〜 100) を用いて,各映像素材の再生スピード (ms) のコントロールを行なう.変数 mmは, 200msec ごとに変化するため,連続する値である mmx-1とmmx との間を線形補完し,変化にスムーズさを与えている.変数 msは変数 mmに応じて相対スケーリングされ,最小 1.0( 等倍 ) 〜最大 3.0(3 倍 ) の間で動的に変化する.

 次に,エフェクトマラカスから取得した加速度に基づく em(0 〜 100) を用いて,各エフェクト素材の特定パラメータ ( ep) のコントロールを行なう.現バージョンでは, 8 つのエフェクト素材を実装している.変数 emは 200msec ごとに変化するため,連続する値である emx-1と emxの間を線形補完し,変化にスムーズさを与えている.変数 emは各エフェクトのパラメータに応じて相対スケーリングされた上で適用される.

 

STEP3 : マテリアルマラカスを振ることでアクティブな映像素材の再生スピードをコントロールし,エフェクトマラカスを振ることでアクティブなエフェクトの特定パラメータをコントロールする.

 

結論と今後の展望

 本研究 では,それぞれ別々の機能を持つ 2 つのオリジナルマラカス型デバイスを用いて,従来にない VJ パフォーマンスシステム rhythmism を提案した. rhythmism ではパフォーマンス重視モデルの持つ ユーザの身体性の自由度の確保及びパフォーマンスそのものの高い魅力を実現するべく,マラカス型デバイスを選択した.マラカス型デバイスにインタフェースとしての機能を付与し,マラカスそのものが持つアフォーダンスを利用しパフォーマンスを創発させることによりこれらの特徴を実現した.さらに, マラカスの持つ構造特性及び操作特性を利用し, 理論上, { マテリアルマラカスのオブジェクトの組み合わせ数 ( 8Cn) x マテリアルマラカスの加速度パラメータ ( mm=0 〜 100) x エフェクトマラカスのオブジェクトの組み合わせ数 ( 8Cn) x エフェクトマラカスの加速度パラメータ ( em=0 〜 100)} の組み合わせを,ユーザ自身がコントロールできる仕様とすることにより , 機能重視モデルの持つ多機能性及び恣意的な制御性を実現した.

 しかしながら構造特性及び操作特性の面において 2 つの限界を持つ.まず第 1 に,構造特性については, 1 度のオブジェクトの挿入において使用できる映像素材オブジェクト,エフェクト素材オブジェクトの数に限界を持つ.それぞれのオブジェクトは RFID タグの大きさに依存しており,現在の仕様では直径 30mm に達する.これにより,現バージョンでは 1 度に 5 つ程度のボール型オブジェクトしか使用できない.また,ボール型オブジェクトを入れるマラカスの開口部はスライド式で容易にオブジェクトの出し入れは可能であるが,パフォーマンスの自然な流れを阻害しないとはいえない.より小さなパッシブ ID タグを使用し,一度のオブジェクトの挿入で使用可能な素材数の増加が可能となるよう改善が必要である.第 2 に,操作特性のうち「回す」行為について,現在のバージョンでは一度回転させるごとに, 1 つの素材が切り替わる仕様としているものの,その順番はボール型オブジェクトの持つ ID の順序に依存している.素材の切り替えをユーザ任意の順番で行なえるよう改善が必要である.

今後の発展として,上記 2 つの限界について改善を行なうとともに,以下の 2 点の実装を中心的に行なう.第 1 に,操作特性の追加実装が挙げられる.例えば,インスタルメントのマラカスでは,マラカス同士をぶつけることによりサウンドを生成するケースがある.この操作モデルをシステムに導入し,映像素材やエフェクト素材に対するに新たな表現を付与する.第 2 に,複数のユーザのコラボレーション機能の実装が挙げられる.同じ場所にいる 2 人以上のユーザが複数のマラカスを用いてコラボレーションを行うだけでなく,ネットワーク対応を実現し,遠隔地同士でのコラボレーションを実現する.

 

 

本研究開発は,独立行政法人科学技術推進機構 (JST) による戦略的創造研究推進事業 (CREST) の支援を受けて行われました.

参考文献

1. Weiser, Mark, "The Computer for the 21 st Century" Scientific American , Vol.265, No3, 1991. 66- 75

2. Ishii, Hiroshi, and Brygg Ullmer. "Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms." Conference on Human Factors in Computing Systems Atlanta , Georgia , 1997. 234 - 41

3. Andersen, Tue Haste. "Mixxx:Towards Novel Dj Interface." New Interfaces for Musical Expression (NIME) . Montreal , Quebec , Canada , 2003. 30-35.

4. Beamish, Timothy, Karon Maclean, and Sidney Fels. "Manipulating Music: Multimodal Interaction for Djs." Conference on Human Factors in Computing Systems Vienna , Austria 2004. 327 - 34

5. Lippit, Takuro Mizuta. "Turntable Music in the Digital Era: Designing Alternative Tools for New Turntable Expression." New Interfaces for Musical Expression(NIME) . Paris , France , 2006. 71 - 74.

6. Patten, James, Ben Recht, and Hiroshi Ishii. "Interaction Techniques for Musical Performance with Tabletop Tangible Interface." SIGCHI international conference on Advances in computer entertainment technology . Hollywood , California , 2006. Article No. 27 6.

7. Jorda, Sergi, et al. "The Reactable*." International Computer Music Conference (ICMC) . Barcelona , 2006.

8. Villar, Nicolas, Adam T. Lindsay, and Hans Gellersen. "Pin & Play & Perform." New Interfaces for Musical Expression (NIME) . Vancouver , Canada , 2005. 188 - 91.

9. Native Instruments. "Traktor 3". 2006. <http://www.native-instruments.com/index.php?traktor3_us&ftu=9b9d77bd07c0adf&flash=9>.

10. Digital Stage. "Motion Dive". 2003. <http://www.digitalstage.net/en/>.

11. Nagashima, Yoichi. "Bio-Sensing Systems and Bio-Feedback Systems for Interactive Media Arts." New Interfaces for Musical Expression (NIME) . Montreal , Quebec , Canada 2003 . 48 - 53

12. Ip, Horace H S, Hay Young, and Alex Tang. "Body Brush: An Interface Where Aesthetic and Technology Meet." Siggraph Emerging Technologies . San Diego , LA , USA , 2003.

13. Fukuchi, Kentaro. "A Laser Pointer/Laser Trails Tracking System for Visual Performance." International Conference on Human-Computer Interaction (ICEC) . Rome , Italy 2005. pp.1050-53

14. Meador, W. Scott, et al. "Mixing Dance Realities: Collaborative Development of Live-Motion Capture in a Performing Arts Environment " Computers in Entertainment (CIE) 2.2 (2004): 12 - 12

15. Toeplitz, Kasper T. "Capture." Prix Ars Electronica 2005, Honorary Mention Interactive Art , 2005.

16. Kotabe, Taku, et al. "atMOS - Self Packaging Moive." Siggraph Emerging Technologies . San Diego , LA , USA , 2003.

17. Tokuhisa, Satoru, et al. "Mysq : an Entertainment System Based on a Content Creation Directly Linked to Communication,." Computers in Entertainment (CIE) 4.3 (2006).

18. Cook, Perry. "Physically Informed Sonic Modeling (Phism): Synthesis of Percussive Sounds." Computer Music Journal 21.3 (1997): 38 - 49.

19. Havel, Christophe, and Myriam Desainte-Catherine. "Modeling an Air Percussion for Composition and Performance." New Interfaces for Musical Expression (NIME) . Hamamatsu , Shizuoka , Japan 2004. 31 - 34

20. Weinberg, Gil, and Seum-Lim Gan. "Digital/Hyper Shaker". 1998. <http://xenia.media.mit.edu/~gan/Gan/Education/MIT/MediaLab/Research/index.html#DigitalShaker>.

21. Hauenstein, Mark, and Tom Jenkins. "Audio Shaker " New Interfaces For Musical Expression (NIME) . Paris , France , 2006.