政策・メディア研究科 横江 宗太
本研究では、カメラを用いた画像解析とスマートフォンを用いて新たな音楽表現／音楽体験の可能性を追求した。 被験者にセンサーやデバイスを携帯させる必要がなく、カジュアルに作品に参加することを可能にするカメラによる画像解析と、今後普及が予想され個人の生活に密着し加速度や位置情報などもセンシング可能なスマートフォンの二つを組み合わせることにより、カジュアルでありながら個々のユーザが能動的に作品に参加しやすいシステムの開発を目指した。
Apple社iPhone上で動作するアプリケーション。 スマートフォンならではのアドホック通信を用いた音楽体験のプロトタイプとして作成。 近隣のユーザ同士でBluetoothを用いてアドホック通信を行い、二人で歌唱合成を楽しむことができる。 2009年Open Research ForumおよびMake: Tokyo Meeting 04にて展示。
このアプリケーションでは画像解析は行っていないが、このアプリケーション制作で得られた主に通信部分や負荷対策に関する技術的な知見は3のNearby(仮)に活かされている。
GPSによる位置情報を用いた音楽制作アプリケーション。 インスタレーションでは実現できない、アウトドアでの音楽生成に関する実験を行うために制作された。
このアプリケーションを用いた実験は現在も進行中であり、最新情報は下記のホームページ上に掲載される。
2010年FXD展(3月14〜16)にて展示予定(ただし会場の都合上、スマートフォンの代わりに)。 画像解析（カメラ）とスマートフォンを用いたインスタレーション作品。 作品の前にたったユーザの動きをカメラとスマートフォンのセンサーを用いて解析。 解析された動きにあわせて、物理シミュレーションを用いて表現される映像と音響が変化していく作品。 個人の動きを高い解像度で追跡可能なスマートフォンからの情報と、画像解析による周辺環境の情報が組み合わされている。
この作品に関する詳細は、FXD展の展示後にホームページにて記述される予定である。