身体感覚に基づく音・映像のリアルタイム処理の研究

　本研究では，「ユーザーのシンプルな入力動作による，シンプルなインターフェイス」をコンセプトに，ユーザーのパフォーマンスによって， 音と映像をリアルタイムに扱うシステムatMOS（アトモス：augmented Multimodal Operative System）を開発した．

3．atMOS概要

　本研究において構築したシステムatMOSはLBE(Location Based Entertainment：場所に根ざしたエンターテイメント)に位置する．本システムでは、プレイヤーの身体動作に応じた、映像処理、音響処理が行われる。ゲーム終了後、自らが作成したオリジナルムービー（セルフパッケージングムービー)は、第3世代携帯電話を通じてダウンロードすることができ、次世代コミュニケーションツールとして利用されることが期待される。

　atMOSのシステムは，パフォーマンスセクション，
リアルタイムエフェクトセクション，レンダリング
セクションの3つに分かれている．パフォーマンスセクションにおいて，ユーザーの身体動作をセンシングし，データをデジタル化し，リアルタイムエフェクトセクションにて，そのデータをもとに音響処理・映像処理を行う．そして，レンダリングセクションにて，最終的な映像を携帯電話で視聴可能なフォーマットにレンダリングする．

　atMOSでは，デジタルビデオカメラと画像処理技術を用いて，シンプルな入力動作を利用したシンプルなインターフェイスを実装した．LEDポインターにより，光の筆で絵を描く，音を奏でる，というイメージのもとユーザーの動きを誘発するだけでなく，豊かな演出を可能にし，検出を容易にしている．同時にユーザーの腕の動きの量を検出することで，再現性を高めている，

　また，ユーザーの腕を中心とする動きの量を検出し，その動きの量を直接映像エフェクト・音響エフェクトに反映させ，身体動作と処理内容に関係性を付与している．映像処理と音響処理の関係性については，論理的な関係性を与えた．さらに，視覚的な音と映像の連動効果を補完するため，音に連動した映像効果を実装した．

なお，システムに関する詳細は修士論文を参考にされたい．

4．1　Siggraph2003 emerging technologies 採択

4．1　平成15年度文化庁メディア芸術祭エンターテイメント部門奨励賞受賞