本番で絶対に失敗しないメンタリティをつけるには？ ライゾマティクス リサーチの若手プログラマーに聞く

花井さんの名前が冠された自主制作プロジェクト

──クライアントワークでは失敗が許されないわけですが、それとは別に研究開発的な作品作りもあるのでしょうか。

　ライゾマティクスの内部では、「駄目でもいいから、やってみよう」という試みもあります。

　例えば、2014年9月にYouTubeで公開した「hanacam」という映像があるのですが（下記参照）、これは社内で「ちょっと新しいのを作ろう」とスタジオを借りて合宿して、その時に作ったテスト映像です。

　このときに開発した技術は、TAICOCLUB'15でのNosaj ThingのVJで活用していますが、こうしたテスト的な試みと本番では、全くレベルが違います。

　TAICOCLUB'15のNosaj Thingのステージでは「45分の転換の間に全部やってください」という条件がありました。その間に、全部で8台のカメラをセッティングして、すべての準備を終わらせないといけません。これは先ほどのテスト的な動画を作っていた時点では不可能でした。準備、調整の時間をたくさん使って、ようやく実現できることです。

──45分間で、8台のカメラの設置まで含めて全部やるわけですね。

　その時はリハーサルを1回、それから本番でした。こういうとき、ライゾマティクスのスタッフの動きはテキパキしています。どういうシステムなのかを事前に資料で共有して、お互いにやることを理解した上で動きます。

　とはいっても、ノートラブルは難しく。このときも、セッティングのときカメラ1台分の映像ソースが来なかったりしました。複雑度が上がるほどトラブルが発生します。そんな時は、ちょっとだけ焦ります。

「現場強さ」を入社してから叩き込まれた

──現場強さというか、ストレス耐性が大事なのですね。

　「現場とはこういうものである」みたいな気持ちがあります。頻度は多くないですが、たまにトラブルが発生したときにどうリカバリーするか。焦るし、テンパったりもしますが、自分に「落ち着け」と言い聞かせて。そうすると意外とうまく行ったりします。

　凄いなと思うのは、ライゾマティクスの真鍋（大度）、石橋（素）の2人です。めちゃめちゃ耐性が高いというか。本番で絶対に失敗しないんですよ。メンタリティは相当強いですね。

　こういう種類の現場への姿勢は、入社してから叩き込まれました。不測の事態はどうしても発生することを、身をもって体験しました。不測の事態が起きたときに、その人の人間性が出るとも思います。そういうときに場を収束させられる人間性を身につけたいですね。

──本番で失敗しない手法とは、例えばBプラン（失敗したときのための代替策）を用意するといったことでしょうか。

　そうです。技術的な部分でトラブルが起きても、ビジュアルを作品として成立させることはできます。例えば、画像認識で指先をトラッキングして何かが動くという局面でトラッキングできなかった場合でも、別のエフェクトを用意して、上映する映像には破綻がないようにします。あるいは、動くカメラの画像を解析できなかった場合でも、三脚に固定したカメラの画像なら解析できる、とか。

──そのほか、堅牢性のための工夫はどのようなものがありますか。

　使う技術を毎回よく考えます。例えば、モーションキャプチャによるトラッキング（動きの検出、追跡）を使うエフェクトでは、画像の取り込みに赤外線カメラを使います。赤外線カメラのいいところは、照明の変化に強いことです。こうした歴史があって枯れている技術には、使いやすさがあります。もちろん、枯れた技術ばかりでは面白くないので、新しいセンサーを使うなど、新しい試みも取り入れています。

　画像認識では、毎回100%の結果が出るとは限りません。スタジオ作品で使う技術と、ライブでは使う技術を変える場合もあります。

　演出で「こんなシーケンスでやります」と動く範囲などが決まっている場合は、それに最適化したアルゴリズムを使います。例えばトラッキング（動き追跡）するエリアが「ここからここまで」と決めて作るとか。そういった個別の工夫を組み合わせて、ライブで失敗しない技術を考えます。

──できるか、できないか、ギリギリの所を攻めている側面があるのでしょうか？

　それはプロジェクト次第です。失敗が許されないクライアントワークなのか、それともある程度許容できるアートワークなのかによって、チャレンジの度合いは変わります。

「視覚と音」以外の感覚に可能性がある

──今、興味がある分野を教えてください。

　最近はVR（バーチャルリアリティ）がホットです。よく見るのは Oculus Rift（VR向けヘッドマウントディスプレイ製品）などです。これに関連して、実は最近、YouTubeで全周映像（360度のパノラマ画像）を見られるようになりました。全天球カメラを誰かに取り付けて、それを自分の視点で再現することができたら、面白そうです。ある意味で、他の人に乗り移ることができます。そういったことを突き詰めると、現状の技術は、いろいろなセンサーが使えるようになってきたものの、まだ「できること」100%は実現していないと感じています。

　よく見る動画で、エクストリームスポーツ、例えばスカイダイビングを主観映像の全天球カメラで撮ったものがあります。ああいう映像をHMD（ヘッドマウントディスプレイ）で見ても臨場感がない。視覚以外の感覚が欠けているからです。視覚情報や音は大事だけど、他にもいろいろな情報は取れる。これらを活用すれば、新しいことができるはずです。

　本当にその人を追体験するには、もっとセンサーを付けて、いろいろな体験を再現できたら面白いと思っています。例えば、私は左利きですが、右利きの人が何かを書いている動画を見て、そのときどういう違和感があるのか。錯覚を与えるにはどうするのか。

　メディアアートの話になると、ビジュアライズという言葉が本当によく出てきます。何かを可視化する話が多いですね。映像をインスタレーション（美術の表現手法のひとつ）的に展示する作品が多い。可視化があるなら、別の変換の仕方もあるはずです。例えば「可触化」や「可嗅化」などといった方法が。

　映像と音は、歴史がありすぎる。そこを掘っていくのも面白いですが、他の感覚に訴えることもあると思います。

エンタメのプログラミングは、「マジックの種」

──ふだんの仕事で、特に意識していることはなんですか？

　「誰もやってないこと」を実現するには、どうすればいいか。そこを結構考えます。たいていの場合、すでに前例があるか、それとも難しすぎるか、どちらかです。すぐやれることは、誰でもやれる。だから技術的なことをサーベイして、まだ誰もやっていないけど「このへんならできる」というところを狙います。

──学術情報のサーベイもすれば、舞台作りもする日々なんですね。

　はい。そんな毎日ですね。

──もし、同じ道に進みたい人がいたら？ どんな人なら「こっちに来い」といいますか？

　こればかりは人によりけりですが、強いていうなら「自分で考えてアクティブに行動できる人」かな。やりきる力がある人がいいですね。

　映画や音楽でもそうですが、凄いものを見たり体験したりすると、ちょっと放心状態になるというか。そういう経験があるからこそ、作りたいという欲求が出てきます。

　作りたいという欲求がある人は、今は作れてしまう。今は、手を動かせば、個人でもできることの幅が広がっています。ライゾマティクスではopenFrameworks（グラフィックス、オーディオなどの機能を持つC++フレームワーク。メディアアートでよく使われる）を主に使っているのですが、これはオープンソースで誰でもダウンロードできます。これでちょっとプログラムを書いてみたらいいと思います。

──プログラミング×［エンタメ］の組み合わせで、新しい世界を作っているという感覚はありますか？

　多少あります。要素技術を組み合わせて「今まで見たものがないものを作る」という思いは、ライゾマティクスの社員はみんな持っています。アート的な意味でも、テクノロジー的な意味でも、何かを残すことができれば、それは「新しい世界」といっていいんじゃないかと。

──プログラミングの未来について、どのようにお考えですか？

　プログラミングがもっと一般化するといいと思っています。HTMLやJavaScriptを使うと、子供でもWebで何でも作れてしまいますし。プログラミングに触れる人が増えるといいですね。

　アートと理系に興味があって知識を持っている人だったら、ライゾマティクスがやっていることを見て「こういうシステムで動いているんだろう」と想像することはできます。その人は、その時点で、普通の人とは違う観点で見ています。だからといって全員が作り手に回るかといえば、それは違うでしょう。

　エンタメにおけるプログラミングは、「マジックの種」のようなものです。そういう意味では、プログラミングの教育が広がって、レベルが上がったとすると、全員に「種」が分かってしまうかもしれないですね。プログラミングの裾野が広がっていくというのは、そういう側面があります。

――花井さんは、人々を驚かせるための「マジックの種」を常に新しく作り出しているんですね。多くの人がプログラミングに取り組むことで、世の中にある作品のクオリティも底上げされそうです。今回はありがとうございました。

著：星暁雄
写真：小倉亜沙子