Mori Grant Report

森基金活動報告書
研究課題名：　流体を用いた楽器の制作


Tomoko Yonezawa
Keio University Graduate Schoool of Media and Governance
1st year in Master Cource
yone@sfc.keio.ac.jp

ATR Media Integration & Communications Research Laboratories
Internship Student
yone@mic.atr.co.jp

 

         概要

    　本稿では、触覚的フィードバックを持つ音楽入力インタフェースとして流体を活用し実装したシステムTangible Sound #1及び#2と、それを楽器として検討した結果を述べる。近年、計算機を利用した様々なインスタレーションが考案される中、音響や音楽をテーマとして扱うサウンドインスタレーションや水を利用した作品が多く発表されている。しかし水を直接入力インタフェースの可能性を持った対象として活用していると言えるものは多くない。我々は時間経過による水の形状変化と音の変化を関連付けし、楽器という音楽入力インタフェースに関して水を用いることを提案する。さらに、水流の上下各々の流量の計測によりユーザの入力行動を判定を行い、管楽器におけるSource & Drainのメタファを導入して上下各々の流量に音楽要素をマッピングした。そして最後に音楽入力手段としての水の可能性を考察する。
 

         abstract

    　Fluid water is a suitable interface to use in performing flowing sound and music, since fluid and sound have common characteristics. For example, both media change shape over time and so they cannot be grasped. We use flowing water in a musical instrument installation. As water is frequently used in daily life as an essential resource among various fluid materials, such an instrument using water will be more friendly and become an amenity in our life. Recently there have been many installations and interactive artworks using water, but they do not exploit the ability to use water itself as a medium. This research aims to find practical uses of fluid media for musical instruments. In addition, we propose a method to sense the amount of water flow for enjoying music. For judgement of user's actions, we use the changes of the upper flow from the faucet and in the lower flow toward drains as well as the difference between these two values. This configulation leads to a novel concept of "Source and Drains," which is also applicable to traditional wind instruments. Based on this concept, we introduce installations that are named "Tangible Sound" #1 and #2 as novel musical instruments that use water as input media.
 

      1. 研究の背景

    　インタラクティブアートやインスタレーションの開発の中でアートとテクノロジーのつながりは深くなりつつある。その中に水の性質や水そのものを材料とし制作された作品がいくつかあるが、水との直接のインタラクションに注目したものは少ない。
    　古来から、噴水や鹿威しなど水を利用したインスタレーションの一種も存在しているが、自然の風などの要素が作用する楽器のため、ユーザの自由なインタラクションは考慮されていない。
    　インタラクティブアートの例として、杉原ら[1]の水ディスプレイがあげられる。水を映写環境に利用したもので、メディアとしての水の利用が注目できる。
    　一方視覚メディアに限らず様々な感覚器に訴えるインスタレーションが考案されている。その中でもサウンドインスタレーションと呼ばれる、音を用いたインタラクティブアートは、ユーザの行動と音の対応付けが為されている点において、一種の楽器として見なすこともできると考えられる。
    　現在、テルミンの様に楽器としての位置を確立しつつあるものも存在するが、その空間における演奏は触覚インタラクションをともなわないためプレースメントに困難が生じる。
    　そこで、水への直接の作用により触覚的インタラクションをえながら音楽要素に働き掛ける楽器システムを制作し、従来楽器に対する概念や枠組みを拡張することを提案する。

    　左近田[2]のWater Machineでは、水の波を音の波に変換するという試みを行っている。これに対し、水の様々な形状の要素を音楽的な要素にマッピングすることにより、音楽に親しみやすい楽器が実現すると考える。
    　現在雨宮ら[3]による空気流を用いた触角ディスプレイという流体を用いたインタフェースの提案が存在するが、On-Offの表現を行うのに留まる。音楽も一つの流体メディアと捉えると、流体の触覚インタフェースを検討することは、VRの触覚的インタラクション手法へ向けた新たな知見につながる可能性がある。
    　石井ら[4]は、Tangible Bitのコンセプトを提案している。ここで空気や水などの流体をambient mediaとして位置づけているが、我々は水に対して積極的なインタラクションをする可能性があると考えた。

    　水は時間とともに形状を変化させ、触れることはできるが掴むことはできない。同様に音や音楽も時間とともに変化するため、それらのメディアを関連付けた音楽入力インタフェースを構築することを試みた。

    　本稿では、筆者らがこれまでに構築した、Tangible Sound #1というシステムにおけるソフトウェアの検討と実装を行い、そこから新たに開発したTangible Sound #2のハードウェア・ソフトウェアについて紹介し、考察する。

 

      2. 実施方法

      2.1. Tangible Sound #1

    　我々は、水の流れと音の流れを関連・結合させたシステムを構築するため、「流れている水」をインタフェースに特定した。特に日常の中で触れる機会の多い蛇口から流れる水に注目し、上部流量と下部流量のセンシングを行うことで、それらの流量の変化、差分をユーザの入力行動判別することとした。また、それに加えユーザの気配、存在の検出のために赤外線センサと光センサを用いた。

    　前年度分の研究過程においては赤外線センサは存在しなかったが、新たに追加することでユーザ入力の検出において精度を上げることを試みた。

    　具体的には、上部流量は直接その流量を図るのではなく、蛇口の回転と可変抵抗器(回転式)を意図によって連動させ、流量の制御系を間接的に計測した。また、下部流量については羽根車式流量センサを参考とし、リードスイッチによりスクリューの回転を計測する装置を構築した。その他、赤外線センサや光センサからのアナログ信号はすべてi-cube (MIDIを扱うA/D変換器) を介してMacintosh上で音楽部分を構築した。


    Tangible Sound #1


    TS1's System

    　ソフトウェアVer.1は単純にMIDIにおける音高をそれぞれの値に当てはめたものであった。今回のソフトウェアは以下に示す。

      2.2. Tangible Sound #2

    　Tangible Sound #1における音楽・音響要素生成では、MSPによる音響要素生成部分とMIDI信号操作による音楽要素生成部分においてユーザの一つの動作によるコンフリクトが生じ、インタラクションが分かりにくいものとなった。そのため音響的要素の操作を切り離し、音楽的な要素の生成楽器として用いることとした。そこで、明示的に音楽的要素を操作できるシステムインタフェースを構築するため、Tangible Sound #2を実装した。
    Tangible Sound #2

     

    媒体SourceDrain
    fluitなどの従来楽器呼気 吹入口押さえる穴の選択など
    Tangible Sound水蛇口Main Drainと Sub Drain

    　従来楽器において、管楽器のように息を吹くことで気体を流体としての操作し、様々な音を作りだすというモデルが見いだすことができる。これは、気体を音の源 (Source) として作り出し、気体を流し込む先 (Drain) をいくつか選択し、音の高さを決定するという考え方によるモデルである。

    　Tangible Sound における上部流量と下部流量をこの楽器モデルの Source と Drainとして用いるとき、従来楽器の音高の選択方法を参考にして、Drain部分を複数個準備し、音の選択を可能にすることを考案し、実装した。

    　本システムではTangible Sound#1におけるセンサの設置を変更し、より楽器としてのインタラクションを感じやすいシステムを目指した。蛇口から流れる水に対して上部流量と下部流量を計測し、ユーザの作用を判別する方法は継続して採用した。

    　上部流量において、蛇口の下の水の直径を計測することで流量を検出するシステムに変更した。また下部流量では、Drainとする漏斗を複数準備し、蛇口の下にあるMain Drainにおける流量計測とともに、周囲に配置したSub Drainにおいて水の存在を検出した。特にMain Drainにおける流量の計測は、漏斗の排水量の限界を越え水が入ると水位が上がることを利用し、その水位を計測した。

    　我々はこのTangible Sound #2のハードウェアに対し、2種類のソフトウェアを構築した。まず一つ目は一つの楽音の音楽要素を制御するシステム(Stand Alone Mode)で、もう一つは複数パートの音量を制御するOrchestrationシステム(Orchestration Mode)である。
    　音楽要素の制御に関してはMIDIのnote numberを下部流量により制御し、上部流量が音量を制御することとした。またこのシステムでは、Sub Drainによって水の飛散を検出すると、楽音を変更する。

    　Orchestrationシステムでは、Drainに各々Drums, Bass, Piano, Guiterをマッピングし、それらの音量を変更するシステムとした。

     

      3. 考察

      3.1. 実装結果

    　Stand Alone Modeは公開展示において50名程度の一般見学者の反応を見た。連続的な流量の変化が127段階に切り分けられ、微妙な水位の変化などにより随時発音するシステムに対し、積極的に水に触れて楽しむ様子が観察された。しかし、楽器として水の扱いづらさ・環境的要因の介入を含むインタラクションであったため、心地よく演奏するために、音のマッピングに対し音楽的な制限を与えておくことが必要だと考えた。
    　Orchestration Modeでは、本システムが環境的要因の介入を許すことや、水という時間により変化する媒体の動きを操作する難しさを含むため、各パートの音量という利用方法は困難であった(Performerは筆者)。そのため聴覚フィードバックが弱く、水による触角フィードバックの方が強い印象を与えてしまった。このModeにおいては発音タイミングをともなわない操作であるため、直接操作性を提供することが難しいと考えられる。

    Performance

      3.2. 水のインタラクションについて

    　現在様々なシーンでインタラクティブ性を実現するうえで様々な感覚器に対するフィードバックが考えられている。インタラクティブアートにおいても、身体的直接操作感覚を与えるため水の触覚を利用することにより、空気など普段から肌に触れている流体を用いるより高いユーザの注意を換気できると考えた。

    　また、流体は常に流動しており、様々な環境的要因の入力を受ける。思い通りに動かせる固体対象ではなく、流体を入力メディアとしたことで、風鈴や鹿威しのような環境の要素による演奏とユーザの演奏を融合することとなった。

    　音楽はこれまで様々な形で洗練され、古典的音楽を一般的なものから特定のパフォーマーによる演奏を聴くというスタイルがあった。しかし、インタラクティブアートの親しみやすさを利用し、その音楽的入出力を構築することで楽器という枠組みが拡張されると考えた。

     

      4. 今後の展開

    　まずシステムの詳細部について述べる。Sourceとなる蛇口が一つであるため、音の入力パラメータが限定されているが、複数個の蛇口を設置することで複数ユーザの参加を可能にすることを考えている。また、入力対象とする水の形状も、流れている水のみではなくためられている水についても注目したい。
    　インタラクションも、手やその他の道具を用いたインタラクションに留まらず、プールのように全身で水を感じることのできるシステムを実現することで、更に没入感を生むことができると考える。

  • 家庭内での水道水での適用
  • プールや風呂など大規模な水のアメニティへ適用
  • 音や音楽教育のきっかけとしての利用
  • 自然環境でのアウトドアアメニティとして利用

    • といった応用が可能である。

    　本研究を従来楽器からComputer Musicまで、様々な演奏・作曲シーンにまで楽器を拡張する契機としたい。今後も『音響や音楽は時間により変化して掴みにくいもの』という定義を前提に、音や水の時間変化の特性を考慮し、楽器インタフェースを検討・構築したい。

      5. 参考文献

  1. 杉原由紀, 稲見昌彦, 川上直樹, 館日章, "被り型水ディスプレイの開発-第二報", 日本バーチャルリアリティ学会第４回大会論文集, pp167-168, 1999.

  2. 左近田展康, "Water Machine", Bumpodo GALLERY, 1998.

  3. 雨宮賢一, 田中豊, 篠原英一, "空気噴流を用いた指先装着型触覚ディスプレイ", 日本バーチャルリアリティ学会第４回大会論文集, pp41-44, 1999.

  4. 石井裕, "Tangible Bits: 情報の感触／情報の気配", IPSJ Magazine, Vol.39, No.8, 1998.

 

      6. 付録：対外発表リスト

2000年 2月 4日現在
    １．学術論文

    1. 米澤朋子, 間瀬健二, 流体による楽器インタラクション, 日本バーチャルリアリティ学会論文誌, Vol.5, No.1, 2000. (採択決定済み)


    ２．国内会議（査読あり)

    1. 米澤朋子, 間瀬健二, Tangible Sound #2における楽器インタラクション, 情報処理学会 Interaction2000シンポジウム, 2000. (採択決定済み)


    ３．国内会議(一般)

    1. 米澤朋子, 安村通晃, 音楽作曲とプログラミング, 情報処理学会プログラミングシンポジウム, 1999.

    2. 米澤朋子, 安村通晃, 流体による音表現: インスタレーション "Tangible Sound" より, 日本バーチャルリアリティ学会第４回大会論文集, pp.177-180, 1999.

    3. 米澤朋子, 間瀬健二, 流体による音楽入力: 水のセンシングを用いた楽器の検討, 情報処理学会研究報告 99-MUS-33, Vol.99, No.106, pp.1-6, 1999.

    4. 米澤朋子, 間瀬健二, 流体楽器による音楽要素生成手法とその応用, 情報処理学会第６０回全国大会, 2000.　(発表予定)


    ４．投稿中

    1. Tomoko Yonezawa, Kenji Mase, "Tangible Sound": Musical Instrument Using Tangible Fluid Media , ICMC2000 Demonstration, 2000.

    2. Tomoko Yonezawa, Kenji Mase, Tangible Tension of Sound in Fluid Water Interface Instrument, ICMC2000 Short Paper, 2000.

    3. Tomoko Yonezawa, Played by Water Instrument "Tangible Sound", ICMC2000 Music Work, 2000.

    4. Tomoko Yonezawa, Kenji Mase, Tangible Sound #3: Musical Instrument Using Fluid Water, SIGGRAPH2000, 2000.

Tomoko Yonezawa
Keio University Graduate Schoool of Media and Governance
1st year in Master Cource
yone@sfc.keio.ac.jp

ATR Media Integration & Communications Research Laboratories
Internship Student
yone@mic.atr.co.jp


    謝辞

    　本研究を進めるに当たって、 ATR知能映像通信研究所の間瀬健二氏、 中津良平社長、角康之氏、Rodney Berry氏、松瀬尚氏、西本一志氏、 Timothy Chen氏、Ivan Poupyrev氏、野間春男氏、 Gavin Wong氏、他ATR知能映像通信研究所の方々、 北陸先端科学技術大学院大学の前田篤彦氏、 慶応義塾大学環境情報学部の岩竹徹教授、安村通晃教授、田中能元客員教授、 他岩竹研究室、安村研究室の方々、理工学研究科の長野宏介氏、 他多くの方々に御協力をいただいたことをここに感謝する。
 
 
 
Back to my own page: