2013年度学術交流支援資金外国語電子教材作成支援　報告書

【研究課題名】　認知科学

【申請者】　環境情報学部教授　諏訪正樹

【研究背景】

諏訪が開講している授業「認知科学」のひとつの重要概念に「知の身体性」がある。現代では、インターネットの隆盛に伴い様々な知の断片が公開され、物理的距離や時間を越えて、誰でもいつでもどこからでも知識を獲得することが可能になった。しかし、そのような知識獲得は、そのままでは真の意味での「知」にはならない。誰かから教わった／もらった／ダウンロードしてきた知識に自分なりの意味を見いだし、自分事として自分のからだで理解することを経て、ようやく「知」になる。知とは本来からだに根ざすものであるという教義が「身体性」である。インターネットを通じていとも簡単に知識が手に入るが故に、知識を知に変換する努力を怠り、学びが形骸化するケースも多々見受けられる。

　「知の身体性」を頭で理解しても意味はない。本授業では、自らのからだで身体性を理解するためのプログラムを多々用意している。日常遭遇するものごとへの体感として本研究では空間体験をとりあげる。例えば、寺院庭園では、回遊路を歩く歩みに応じて景色が変化する。その庭園からどういう体験を得るのかに関しては、本人ですら獏とした曖昧なもので済まされることが多い。大抵そういう場所には、その庭園の歴史や成り立ちに関する知識を与える資料やプレゼンテーションがあり、それを鵜呑みにして庭園を理解した気になる。しかし、本来庭園の体験はからだを通じて行うものであり、自分のからだが何をどう感じているのかを、自分とのメタ認知的対話を通じて自分で探究することこそ、からだでの理解である。この研究思想を支える理論的基盤はからだメタ認知である（諏訪2012）。

【目的】

本研究は，からだメタ認知の手法で空間体験をことば化し、本人が自分の体験を豊穣化するプロセスを学生に体験させるためのweb教材を開発するものである。単にことば化するだけでも、自分が記録した／喋ったことばが外化されるために、そこに様々な関係性を見出すことが促され、体験が豊穣化することは過去の研究で示されている。本研究は、そのメタ認知サイクルを更に活性化するために、本人が記録したことばを共感覚的なメディアとして本人にフィードバックし、そのメディアを通じて再び同じ空間の体験のことば化を促すことを目指している。共感覚的メディアとして、本研究では音楽を選んだ。空間体験を表現したことばの構造を音楽構造に転写するアルゴリズムを制作し、ことば化してそのコーディングを行うと音楽が自動生成され、そのことばを生んだその場所でその音楽を聴くことができる。その音楽をその場所で聴くと、ひとは音楽の様々な特性と、眼前に広がる景色のなかに含まれる様々な空間的特徴を関連付けたくなる。音楽という共感覚的なメディアが存在するからこそ、同じ風景であっても（異なるサイクルで異なる音楽を聴くことで）毎回異なる視点で眺めることが可能になる。体験のことば化の内容も進化する。本web教材が、体験のことば化と、それに対応する共感覚的メディアの享受を経て、体験を豊穣化するツールとして機能するかを、生活実験のなかで検証することが本研究の目的である。

【成果】

空間体験を表現したことばの構造を音楽構造に転写するアルゴリズムを考案し、本人のことばから音楽を生成するためのwebプラットフォームを制作した。

　提案アルゴリズムを簡単に説明する。まず、空間を構成するオブジェクトのうち、どのオブジェクトを重要と捉えるかが、本人の空間体験を大きく左右する要因である。空間世界のオブジェクトに対応するものは、音楽領域では音色と規定する。その空間によく出てくるオブエクト群、及びコンピュータ音源にある音色群を列挙する。そして各ユーザーにおいて、その群のすべてのオブジェクトと音色に対する印象評価をSD法で行い、どのオブジェクトはどの音色に変換するべきかのユーザー辞書を制作する。

　更に、本人には、重要と考えるオブジェクト相互の位置関係や属性に関してもことば化を求める。位置関係は、左右の関係、奥行き関係、上下関係である。また属性は、そのオブジェクトの動き（上下左右奥行き方向）、オブジェクトが存在する範囲、オブジェクトの粒度などである。本研究では、属性や関係性を音楽領域の属性や関係性に転写するルールを決めることにより、オブジェクトの空間的配置や属性を音構造の関係性や属性にマッピングする。例えば、奥行き関係は、手前にあるオブジェクトに対応する音色の音量を奥にあるオブジェクトに対応する音色の音量よりも常に大きくするという音領域の関係に転写する。上下関係は音高（ピッチ）の関係性に転写させる。流動性が高いと判断されたオブジェクトは、ピッチ、音量、左右panningの範囲を大きくし、その範囲内で音のピッチや音量や左右panningを決定する。したがって、各オブジェクトに対応する音色の各々に対して、すべての転写ルールを満たすように、各時刻での音高（ピッチ）、音量、左右panningの位置を決定し、結果として楽譜が決定される。

　本人が空間体験を表現したことばから完全自動的に音楽を生成する訳ではない。ことばのなかに含まれているオブジェクトと、そこで陽に陰に述べられている空間的位置関係や属性を抽出するのは人手である。しかも本人である。その作業は少し手間ではあるが、実はそれを本人がコーディングすることも本人のメタ認知を活性化させる。Web教材として実際に使う際にユーザーが接するのは、図１のインターフェース画面である。本人が抽出したオブジェクト、位置関係、属性を、図１のインターフェース画面に入力すると、その後は自動的に４０秒くらいの音楽が生成される。本インターフェースはiPad上で使用し、ほぼリアルタイムに同じiPadで、生成された音楽を聴くことができる。

　「自己」「屋根」「森」「地面」「気・生命」などが、本人がコーディングしたオブジェクトである。コーディングした位置関係は、各オブジェクトをインターフェース上で配置する位置に反映させる。属性は、図１に示すように各オブジェクトをクリックすることによって、入力ができる。

図１：インターフェース画面

【参考文献】

[諏訪 2012]　 諏訪正樹．(2013)．“からだで学ぶ”ことの意味　―学び・教育における身体性―」．SFC Journal,“学びのための環境デザイン”特集号, Vol.12, No.2, to appear．

【本電子教材のwebアドレス】

http://web.sfc.keio.ac.jp/~suwa/electronicematerial/webplatform2013.htm