落合陽一氏率いるピクシーダストテクノロジーズ社が開発した『SOUND HUG』*は、音楽を視覚（光）と触覚（振動）で感じられる装置だ。落合氏と日本フィルハーモニー交響楽団が手がけ2018年に開催された『耳で聴かない音楽会』をはじめ、様々な音楽イベントやコンサートで使用され、聴覚に障がいのある人々に音楽を届けてきた。JST CREST xDiversityプロジェクトや一般社団法人xDiversityのプロジェクトリーダーも務める落合氏に、『SOUND HUG』誕生の経緯から、持続可能なダイバーシティ社会の実現に向けた課題までを取材した。
目次
メディアアートから生まれた音楽体感デバイス『SOUND HUG』
ハグという名前の通り抱きかかえることで、音楽を全身で感じられる『SOUND HUG』は、メディアアーティストとしても活躍する落合氏が開発に携わった『LIVE JACKET』という作品がインスピレーションの元となって誕生した。これは人気バンド「ONE OK ROCK」のプロモーションに使用された「WEARABLE ONE OK ROCK」を元にしたものもので、特殊なレザージャケットに、数十の超小型スピーカーやサブウーファーを組み込まれている。
「体中から音楽が鳴ったら、どんなふうになるんだろうということに興味があって作ったんですが、実際に着たらハプティクスフィードバックもあって、音楽に包まれるような感覚になった。展示会でたまたま体験したデフサッカー（聴覚障がいを持ったスポーツ選手がプレーするサッカー）選手・仲井健人さんがTwitterでつぶやいたのをLIVE JACKETプロジェクトを担当したTBWA HAKUHODO・宇佐美さんが見つけ、日本フィル・山岸さんに伝わりました。そして、何かやろうということになったんです」
「耳が聞こえない人にオーケストラの音楽を届けたい」と考えていた日本フィルハーモニー交響楽団の依頼に応える形で開発された『SOUND HUG』は、2018年4月に落合陽一×日本フィルハーモニー交響楽団のプロジェクトとして開催された『耳で聴かない音楽会』で初めて使用され、大好評を得る。
アーティストとしての落合氏が演出する音楽会はこれ以降、メディアアート、ダイバーシティの両面へアプローチをとりながら、『変態する音楽会』、『耳で聴かない音楽会2019』、『交錯する音楽会』と回を重ねてきた。今年は『＿＿する音楽会』（双生する音楽会）と銘打ち、10月13日（10月24日再配信予定/チケット申し込み17日まで）に東京芸術劇場での公演とオンラインのハイブリッドで開催されている。
コロナ禍での開催となった『＿＿する音楽会』（双生する音楽会）。試行錯誤の末にオンラインとフィジカルの二つの音楽会が生まれた。『耳で聴かない音楽会』のようにわかりやすく示されてはいないが、そこにはもちろんダイバーシティというテーマも含まれている。
「敢えて音楽会用にというわけではないけれど、例えば、うちのラボから配信している音に反応して振動するスマホやApple Watchのアプリ（OkanWatch:ベータ版配信中）や、オープンソースの音声文字認識なども利用できます。すでに特別なデバイスがなくても当たり前に使えるものがあるんです」
敢えて明示しなくてもオンライン配信でこれらを活用すれば、聴覚に障がいがある人にも家でオーケストラを楽しんでもらえるというわけだ。
オンライン配信だけじゃない。コロナ禍ではビデオ会議など、オンラインでのコミュニケーションが広く浸透したが、ダイバーシティという視点に立てば、これも「良い変化」だと落合氏は言う。
「全員がリモートになって、耳や目が一度コンピューターを介するという同じ条件に揃ったことで、認識するテクノロジーを入れやすくなった。近年文字認識の精度が上がって、聴覚障がいの人と喋るスピードも明らかに速くなったし、視覚障がいのある人も以前ほどはハンデを感じにくいかもしれない。全員がオンラインで条件を揃えることは大切なことだと思います。身体に障がいがある人や高齢者も、移動が減ればそれだけハンデも少なくなるかもしれない」
オンラインが当たり前になった今、コンピューターを介したコミュニケーションは、アフターコロナにおいても選択肢のひとつとして残っていくだろう。
「もしフィジカルな会議をやるにしても、ひとりリモートの人がいたら、ビデオ会議も一緒にやるという選択ができるようになった。これは重要な一歩だと思います。条件が異なる人がいたら、デバイドがある側、マイノリティー側へ揃えた方がいい。少なくてもデジタルではダイバーシティって何かっていうことが、本質的にわかるようになってきたということで、これは大きいと思います」
コンピューターを介するオンラインのコミュニケーションでは、音声が文字化されることで、聴覚障がいがある人とのコミュニケーションも円滑に進むようになった。
色や音や光は人間が受け取っている情報。いろんな感覚に変換できる
一方、コロナ禍で失われたものもある。コンサート会場のような特別な場所での、特別な体験もそのひとつだ。落合氏はそれを「祝祭性」という言葉で表現する。
「先ほどのスマホアプリや音声文字認識のように、できるだけ低コストでみんなが持ってるものに組み込むというのが今、xDiversityのプロジェクトでもテーマのひとつになっています。一方で『SOUND HUG』というのは、“祝祭性”のある道具なんです。特別な空間で触って、楽しかったねって言ってもらえる道具。残念ながらコロナ禍で『SOUND HUG』を使うイベントもたくさんキャンセルになってしまったけど、この期間を経て世の中にはやっぱり、“祝祭性”が必要だということもわかったと思います」
今後は『SOUND HUG』を「クラシックコンサートだけでなく、ロックコンサートやフェスティバル、クラブハウスなどでも使ってもらえるようにしたい」と落合氏。さらに学校の音楽室などでも、使ってもらえるようになればと話す。
『耳で聴かない音楽会』で『SOUND HUG』を使って音楽を楽しむ様子。
＜日本フィル主催 ©山口敦＞
「音楽や技術の時間にダイバーシティ教育とコンピュータープログラミングをセットにして、『SOUND HUG』を小中学校のカリキュラムに組み込むといったことができればいいなと思ってます。色や音や光っていうのはあくまで情報として人間が受け取っているもので、コンピューターが間に介在すれば、それはいろんな感覚に変換できる。他者との対話という意味でこれはすごく重要なことで、それを人生の割と早い時期に気づくことって大切だと思うんです。『SOUND HUG』のような装置はそのきっかけになるし、ダイバーシティが持続可能な社会へ広がっていくためには、教育の中でいかに体験できるようにするかが重要だと思います」
感覚を変換できるということは、異なるプロトコルを持つ他者と対話ができることにもつながる。
「xDiversityで僕らがやっているのも、人間が持ってる感覚というものはコンピューターを介在すれば自由に変換可能で、かつ身体も自由な形に制御できるということを示すこと。その上でその社会システムを、持続可能なものにしようという取り組みなんです。それは全体論としてはダイバーシティとコンピューテーショナルデザインの話なんだけど、なかなか伝わっていない気もする。悲しいことに世の中の多くの人は未だに、『耳で聴かない音楽会』は『耳の聞こえないかわいそうな人に音楽を届けていて素晴らしい』という感想をいただくことも多い、このかわいそうがいつまでたっても抜けない、これを何とかしたい」と落合氏。
「いろいろな活動をしていると、この社会の持つダイバーシティの大義名分が、そういう憐れみや美談といったところから来ているように感じられることがあって、すごく違和感を覚えます。そうではなくて、プロジェクトを通じて僕らが得ているもっと本質的な気づきや面白さを、子ども達をはじめ、多くの人に伝えたいですね。別に耳で聞くことが全てじゃないし、時間と空間は音楽だということなんだけれど」
いかに自分の感覚器に依存しているかに気づくところから始まる
そうした気づきの一例として落合氏があげたのが、『耳で聴かない音楽会』であったある聴覚障がいをもつ女の子のエピソードだ。音楽会の演目には“無音の音楽”として知られる、ジョーン・ケージの『4分33秒』があった。『SOUND HUG』を通じてその曲を体験した女の子は、「もっと華やかな曲かと思ったら、ピチピチとかペチペチといった感覚で、音楽にはいろいろなものがあるんだなと思った」と感想を述べたという。
休止を表すtacetが全楽章に指示されている『4分33秒』では、オーケストラは一切音を発しない。「彼女が感じたのはおそらく何らかのノイズなんだけど、ジョーン・ケージからすればそれが音楽ということ。つまり、作曲家の言わんとするものは彼女には伝わっていて、そのファーストインプレッションは完全に正しい。それを『ノイズなんだけどな』って思ってしまうのは、音をメロディとリズムとハーモニーで捉えてしまうような耳が聞こえる側の先入観でしかないんです」
ダイバーシティの研究に携わっていると、こういった気づきにたくさん出会うのだという。
「自分がいかに感覚器に依存しているかがよくわかる。僕は単純に自分の持ってない感覚器を持っている人と、会話するのが楽しいし好きなんです。外国に行って異なる言語の人と話す感覚に、似ているかもしれません」
重要なのは気持ちに寄り添うことではなく、同じ課題を共有するとこと
外国人と話すときに英語が喋れないことに負い目を感じる人は多いだろうが、落合氏は同じように「聴覚障がい者と話すとき、手話ができないことを負い目に感じる」と話す。聴覚障がいのある人と話すときに伝えたいことを思うように伝えられないことが、歯がゆくて仕方ないという。
「よく当事者に寄り添うとか言いますけど、聴覚障がいのある学生としゃべりたい僕自身もすでに関係性の上では当事者なんですよ。僕はいくら頑張っても聞こえない人の気持ちはわからないけど、聞こえない人に情報を伝えたい。既存の手法じゃなくてテクノロジーを使ってそれと向かいあおうというところに、当事者性が生まれるのかもしれません」
「重要なのは同じ気持ちになることではなくて、同じ課題を共有するということ」。相手との関わり方はどんな形でもいいと言う。「伝わらなくて困るからとか、見えないのをうまくナビできないからとか、いろいろ面倒だからっていうモチベーションで全然いいんです。その面倒くささを解消できれば、お互いに共存関係が高まるわけで、それを解消するテクノロジーがないから、なんとかしようってことが重要なんです」
落合 陽一
ピクシーダストテクノロジーズ株式会社（以下「PXDT」） 代表取締役CEO
PXDT共同創業者 / 博士(学際情報学)
1987年生まれ。2015年東京大学学際情報学府博士課程修了（学際情報学府初の短縮終了）。日本学術振興会特別研究員DC1，米国Microsoft ResearchでのResearch Internなどを経て，2015年から筑波大学図書館情報メディア系助教デジタルネイチャー研究室主宰。2017年からPXDTと筑波大学の特別共同研究事業「デジタルネイチャー推進戦略研究基盤」代表/准教授、デジタルネイチャー開発研究センターセンター長。
*「SOUND HUG」は、ピクシーダストテクノロジーズ社の商標です。
取材・文／太田百合子
シェアする
ツイートする
