「感性コミュニケーションの為のインタラクティブアートの制作」

政策・メディア研究科修士1年 塚田浩二
マルチモーダルインタラクションプロジェクト所属

学籍番号 80031862 E-Mail tsuka@sfc.keio.ac.jp

 

1.はじめに

 今年度私が森泰吉郎記念研究振興基金等を活用して行った研究・制作活動は以下の二点を中心としたものである。

1.インタラクティブ・ミュージックシステム「XaossPatch」の発展・改良
2.インスタレーション作品「嘆きの壁」の制作・展示

 ここではそれぞれの活動について振り返りながら、今後の活動方針などを述べていきたい。


2.インタラクティブ・ミュージックシステム「XaossPatch」

◆背景

  表現の場としてのWorld Wide Web(WWW)はますます注目されるようになり、CGや音楽などの作品を並べて展示・鑑賞させるだけではなく、WWWのインタラクティブ性を生かした、インタラクティブアートも一つの表現形態として注目を集めている。だが、今WWW上で見られる作品の多くは作品と鑑賞者(以下ユーザー)の間でのインタラクションを追求したもので、二人のプレイヤーの演奏によって踊るCGダンサー[1]やインタラクティブドッグ[2]で実現されているようなユーザー同志のコミュニケーションの要素を取り入れているものはあまり見られない。しかし、チャット等の文字ベースのメディアとは異なる、視覚や聴覚を用いた感性コミュニケーションを可能にするメディアとして、インタラクティブアートは大きな可能性を秘めている。そこで、私はそうしたWWW上でのインタラクティブアートの可能性に着目し、「視覚や聴覚を用いた、感性によるコミュニケーションが可能なインタラクティブアート」の一里塚として、インタラクティブ・ミュージックシステム「Xaoss Patch」を制作し、その更なる発展・改良を試みた。



◆Xaoss Patchの特徴

 「Xaoss Patch」は私が学部時代に卒業制作として制作したインタラクティブ・ミュージックシステムであり、タッチパッドのような形状のインターフェイスをマウスでなぞるというシンプルな操作でスケールにあった美しいメロディを演奏したり、バックに流れる音楽をダイナミックに変化させたりして、誰でも簡単に音楽とのインタラクションを楽しむことが出来るものである。

 今回、このシステムに以下のような機能を追加し、懸案だった複数のユーザーによる協奏を可能にするなど、大幅な改良を行った。

1.専用サーバー(Xaoss Server)を利用したコラボレーション・ミュージックシステムの実現

 Xaoss Serverに各クライアント(Xaoss Patch)がソケット接続を行うことで、最大4人のユーザによる協奏を実現した。 ユーザの演奏したメロディ・エフェクト情報はタイミング情報と共にサーバーに送信され、同期を取った上で各クライアントに配信される。

2.インターフェイスの全面的な改良

 従来のインターフェイスはユーザーに対する最小限の情報提示しか行なわず、各種設定等は別画面で行うようにしていたが、今回は実際の音楽機材と同じようにタッチパネル風のディスプレイに様々な情報を表示し、タッチパネルにふれるかのような、より直感的で多機能なインターフェイスを実現した。(図1参照)

3.ユーザーの操作の視覚化

 各ユーザーのパッド操作の軌跡や選択しているエフェクト機能などをパッド上に視覚的に表現することで、自分の行っている演奏・エフェクト操作を分かりやすくすると共に、ユーザー間のコラボレーションを支援するようにした。 (図1参照)

4.Chat機能の搭載

 ユーザー同士のコラボレーションを支援する為に、シンプルなChat機能を搭載した。


 

図1 Xaoss Patch  -オリジナルサイズ



◆まとめ・今後の方針

 今回上記のように複数ユーザによる協奏を一通り実現することはできたが、制作過程で様々な方向性(実世界指向デバイスや音響合成の利用など)を模索することに重点をおいた為に完成が遅くなり、現時点ではまだ十分なフィードバックが得られていない。 よって、今後はユーザーからのフィードバックをもとに完成度を高め、Xaoss Serverをより多くのクライアントに対応させた上で、今年前半を目処に一般公開したいと考えている。また、現時点ではJavaSound APIのバグにより正常に動作しないケースが見られるので、改善されない場合はJNI(Java Native Interface)の利用も視野に入れていく。


 

◆関連研究

[1] 音楽に躍らされるCGダンサーによるインタラクティブパフォーマンス
  後藤真孝 他  WISS'95,1995

[2] インタラクティブドッグ〜仮想犬との3種類のインタラクション〜
  安部哲也 他  WISS'95,1995

 


 

3.インスタレーション作品「嘆きの壁」

◆動機・背景

 「視覚や聴覚を用いた、感性によるコミュニケーションが可能なインタラクティブアート」について研究・制作を進めていく過程において、仮想世界だけで完結するのではなく、現実世界のモノと仮想世界を有機的に結びつけたインタラクティブアートにも強い関心を持つようになった。そこで、その実践として実世界でのリアルな行為を通して仮想世界の環境を変遷させるインスタレーション作品「嘆きの壁」を制作・展示した。

 

◆コンセプト

  作品(キャンバス)をナイフで傷つけると、傷跡のような赤い光が漏れ出し、同時にその痛みを伝えるような叫び声が響きわたる。鑑賞者は「実世界のオブジェを傷つける」というリアルな行為を通して、自らの足跡を作品に残していく。その傷跡は視覚的・聴覚的に幾重にも重なり合い、多くの叫びを吸い込んで恐ろしくも美しい「嘆きの壁」を形成する。(図2,3参照)

 

図2 嘆きの壁

図3 嘆きの壁(拡大)


◆展示期間・場所

 -10/30〜11/4
 -サイバーサウンドプロジェクト主催の展示会「The Bridge of natural language and artificial language」で展示 
 -慶応大学SFC大学院棟のギャラリーに設置


◆システム概要

 このシステムは鑑賞者の「キャンバスへの接近」・「キャンバスの切断」という二系統のアクションを感知し、それぞれ異なった音楽的フィードバックを行うものである。キャンバスへの接近は光センサにより検出され、Macintoshに送信される。そしてセンサからの情報をもとに、主にBGMの転調や新しい音響要素の追加(静かな効果音など)としてフィードバックされる。キャンバスの切断については、カメラで常にキャンバスを撮影し、O2で画像解析を行うことで光の変化(=どの部分が切り裂かれたか)を認識する。変化のあったXY座標やEvent Number(通算の変化数)、1フレーム中の変化量などをリスト化し、UDPでMacintoshに送信する。Macintoshでは受け取ったリスト情報を元に主に激しい効果音的な音響を生成し、鑑賞者にフィードバックする。(図4参照)

図4. システム図

◆フィードバック

 ここでは展示の際にとったアンケートから作品に関する感想・意見などを抜粋して、作品の反省点や潜在的な可能性について考えていきたいと思う。

・キャンバスを切りつける行為で環境を変化させる発想は興味深い。
・「切る」という行為はとても体験的で面白い。切ったときの感触や音、ナイフの手触りがそのまま心に残り、 「楽譜を読む」や「CDをかける」よりもずっと「音楽をする」行為に近いと思う。
→「切りつける」行為は非常にPhysicalなものであり、体験として心に残る。ただボタンを押して音楽を聴くより、楽器をひく感覚に近く、インターフェイスとしての可能性を感じる。

・切れたときのインタラクションがもっと瞬時にくると面白い
・フィードバックのタイミングが気になる

→1.キャンバスの切り方によって光が十分に漏れず、多少画像認識の検出が遅れてしまうことがあった。 これについてはキャンバスを切る時に出る音をマイクで拾って増幅し、画像認識とは別にDirectなフィードバックとして利用するなどして工夫しようと思う。

  2.カメラで前部上方から撮影しているので身長の高い人がカメラの前に立つとうまく検出できない問題があった。今回は作品の構造的な問題から後部からの撮影ができなかったが、次回作品では工夫していきたい。


・シチュエーションをより一般的にすると多くの人が利用できるシステムになると思う

→「切りつける」というような体験的な行為をインターフェイスとして他分野に応用する潜在的な可能性を感じた。今後はより広範なPhysicalな行為についてインターフェイスとしての可能性を探っていきたい。

   


4.おわりに

 今後は「嘆きの壁」のようなメディアアート・インスタレーション等の作品を制作し、コンペなどを通じて対外的に発表していくとともに、 さまざまなセンサ等を利用して、アートに限らずより実用的な実世界指向デバイスの研究も行っていきたいと考えている。

 

以上


 

All Copyrighted by Koji Tsukada
※本ページの内容に関する転載・転用を禁じます