2004年度　森泰吉郎記念研究振興基金　研究成果報告書

音楽用インターフェイス“Chase”

小林良穂
慶應義塾大学大学院政策・メディア研究科後期博士課程

研究組織：

氏名	所属	研究分担課題
小林良穂	政策・メディア研究科後期博士課程1年	システム開発、サウンドデザイン
魚住勇太	政策・メディア研究科修士課程2年	筐体製作、プロジェクト管理、アルゴリズム開発
絹川唯史	政策・メディア研究科修士課程修了	楽曲構成の考案／決定、パフォーマンス

概要：
“Chase”は、仮想空間において設定されたオブジェクトの振る舞いと、実空間における演奏者の振る舞いの関係性から音楽を生成するためのインターフェイスである。
演奏者は、筐体に内蔵されたディスプレイを覗き込みながら、実空間を移動する。この実空間の移動は仮想空間での移動と対応しており、「仮想空間上を逃げるオブジェクトを、実空間上の移動によって追いかける」という、単純なルールによって作品は進行する。
この「追う・追われる」のルールから得られる、仮想オブジェクト(エージェント)と現実の演奏者との関係(距離、角度等)をパラメータとし、音楽を生成する。

開発過程：
“Chase”は、2003年OpenResearchForumにおいて、インスタレーション作品として開発・展示された。当初のコンセプトは、実空間と仮想空間における動きを対応させることによって生まれる共時性に着目し、その実現のために「追う・追われる」という単純なルールを適応するというものであった。そして、実際に筐体を動かすことによって、仮想空間上を逃げ回るエージェントを追いかけ、その位置関係から音が合成される作品を完成させた。この際のアルゴリズムは、エージェントが演奏者に近く、正面に位置している場合には音楽的な音が生成され、逆に遠ざかって、横や後ろに位置した場合にはノイズを生成するというものであった。

その後、この作品のインターフェイスとしての有効性を示し、「音楽」を生成するための装置として機能させるため、以下のような改良を行なった。

1.  演奏者やオブジェクトの位置・向き等の情報を、ワイヤレスネットワークによって外部のコンピュータに送り、この外部のコンピュータによって音響・画像合成を行なうようにした。これにより、筐体の内蔵コンピュータの負荷が大幅に軽減され、同時に、より複雑な音響合成が可能となった。さらに、画像の出力を外部のプロジェクター等に送ることが可能となったため、舞台上で演奏することが可能になった。

2.  時間軸における様々な変化を可能とし、展開を持たせた。具体的には、エージェントの逃避アルゴリズムや、出力される音色等を時間軸に従って切り換えることにより、音楽作品としての展開を作り出した。また、これにより、演奏者の様々な姿(エージェントを速く追いかける、ゆっくりと探す等)を見せることが可能となった。

3.  エージェントに感情のパラメータを持たせ、不確定性を加えた。エージェントが演奏者によって追われ続けると次第に「焦り」を感じ、速く逃げるように設定し、さらに追われて「焦り」が増すと、混乱を起こして通常の逃避アルゴリズムとは全く違った動きをするようにした。これにより、仮想オブジェクトの動きを予想することが困難になり、演奏者との関係がより複雑に変化することに繋がる。

システム構成：
当該作品のシステムは以下のように構成されている。

筐体
作品本体は、木製のフレームを用いた筐体に様々な機器をマウントする形で制作された。筐体には演奏を行うためのボタンやレバーなどは存在しない。代わりに、筐体下部に荷台用の車輪がついており、演奏者はこの筐体を動かすことで、エージェントとのインタラクトを行う構造になっている。

液晶ディスプレイ
筐体の上部には、演奏者に仮想空間の状況を表示する液晶ディスプレイが配置された。

光学センサー
筐体の XY 座標軸上の動きのトレースには、筐体下部に設置した光学センサーを用いた。正確なトレースのために、スポンジを使用したサスペンションによって、常時床に密着するユニットを制作し、センサーはそこに固定された。

3Dモーションセンサー
筐体の水平方向の回転角度(ヨー角)検出には、3Dモーションセンサ(NEC/Tokin 製 MDP-A3U7)を用いた。これは、セラミックジャイロ、地磁気センサ、加速度センサを組み合わせ、設置対象の姿勢角度を検出するセンサユニットである。

内部PC
筐体に内蔵され、センサーからの値、エージェントの処理、映像の表示、を行う。

バッテリーユニット
筐体は車輪で動くことが前提になるため、電源は内蔵バッテリーとなる。内蔵 PCや液晶Displayなどへの電源を供給する。

外部PC
筐体は車輪で動くため、PA用に音声や映像の出力をケーブル接続することができない。そこで、内部PCから外部PCに無線LANとOSC (OpenSoundControl)を用いて、仮想空間やエージェントなどの値を送信し、外部PCでサウンド処理やステージ用映像(筐体に表示されているのと同じもの)の出力を行った。映像や音の合成は Max/MSP/Jitterを用いた。

実演方法：
当該作品は以上のシステムを用いて次のように実演される。

1.  筐体上部の液晶ディスプレイ内は、そのまま演奏者の視界を意味する。車輪の付いた筐体を実世界で動かすと、仮想世界の視界も同じように移動する。これにより一種の MixedRealityが実現される。

2.  エージェントは、演奏者の視界から逃げるように(画面に収まらないように)振る舞い、逆に演奏者は筐体を動かしてエージェントを捉えようとする。このインタラクションの中で、エージェントとの距離/方向、加速度などが常時変化する。ここに焦燥値とパラメータシーケンスが加わり、より展開が複雑化する。

3.  これらの値は無線LANとOSCを用いて外部PCに送られ、外部PCではMax/MSP/Jitterを用い、映像と音を聴衆に提示する。音は、エージェントとの距離や方向などの値を基に現在の各パラメータシーケンス用の音を生成する。この音は、演奏者がエージェントを追跡する際のヒントとしての機能、当該作品に楽器的要素を加味する役割を持っている。

研究成果：
当該作品は、2004年6月に静岡県浜松市で行われた国際会議NIME(New Interfaces for Musical Expression)において採択され、実演された。
NIMEは、コンピュータ音楽やテクノロジーアート(メディアアート)の領域におけるインターフェイスの問題を総合的に扱う国際会議である。

演奏風景(MPEG; 18.2MB)

問題点および展望：
NIMEへの参加を通して、当該作品に使用したセンサーの精度および安定性に、多くの問題が発見された。これらの問題を解決するための手段として、トラッキング・システムの抜本的な見直し／再構築を行っている。
現在は、高輝度LEDを作品の筐体に設置し、ビデオカメラを用いて動きをトラッキングする方法を検討している。この方法により、トラッキング精度の向上に加え、動作の際の抵抗の軽減など、いくつかの利点が得られている。
今後は、この新しいシステムを導入したインスタレーション作品としての展示を視野に制作を継続する。