2015/08/05 14:00
鮮烈な演出を支えるのは、枯れた技術と入念なテスト――ライゾマティクス リサーチのプログラマーに聞く
ライゾマティクス リサーチは、メディアアートの手法をエンタメの舞台に取り入れ、鮮烈な印象を残す作品群を送り出しています。そんなライゾマティクスに昨年加わった花井裕也さんは、エンタメの世界で「生きた形跡」を残したいと思った一人のプログラマーです。花井さんへの取材では、これからの時代に求められる、プログラマーの新しい役割が見えてきます。
ライゾマティクスリサーチ シニアソフトウェアエンジニア。慶應義塾大学大学院 理工学研究科修了。学生時代は顔認識アルゴリズムやプロセッサ開発を手がけ、研究成果「汎用認識プロセッサ」をLSIに関する世界最大の国際会議ISSCCで発表。2010年4月にソニー入社、AR（拡張現実）の技術開発に携わる。開発成果として「LiveAction AR」などがある。ライゾマティクスが関わったPerfume「氷結SUMMER NIGHT」ライブの演出に衝撃を受ける。2014年5月ライゾマティクス入社。その後は、旧国立競技場ラストステージの演出や、TAICOCLUB'15でのNosaj ThingのライブVJの演出、Perfume“Story SXSW mix” at SXSW、NHK Next World Opening Liveなどで経験を積む。
Rhizomatiks
ライゾマティクスでは、10周年を機に、より専門性の高いプロジェクトに対応していくため、各ジャンルのスペシャリストが率いる新部門を設立します。新しく設立されるのは、リサーチ、テックマーケティング、デザイン、アーキテクチャーの4部門。統合した経営をライゾマティクスが行います。
Rhizomatiks Research
「Rhizomatiks Research」は人とテクノロジーの関係について研究し、アーティスト、研究者、グラフィック・デザイナー、スポーツ選手、ダンサー、振付家、演出家、音楽家、エンジニアなど様々なクリエーターとのコラボレーションワークを通じて世の中にアート、エンターテイメントプロジェクトを発表していくための組織です。ライゾマティクスの中でも研究開発要素の強いプロジェクトを中心に行い、未来を切り開く新しい表現を探求します。
Perfume、ELEVENPLAYで行われたパフォーマンスプロジェクトやメディアアート、データアートプロジェクトを制作してきたチームを中心に構成され、企画、実装、オペレーション、プロジェクトにおける全ての工程を担当します。
エンタメの世界で「生きた形跡」を残したかった
──どういう経緯でこの世界に入ったのですか？
もともとソニーで技術開発をしていました。今の職場であるライゾマティクスへの転職には複合的な要因があって、これひとつが理由というのはないのですが、ひとつはエンタメとテクノロジーの融合に興味がありました。
近年、要素技術の環境の変化が大きくなっています。ソフトの世界では画像認識をやろうと思うと、OpenCVというライブラリで誰でもプログラミングできてしまう。画像認識の元になる画像も数万円のセンサーで取り込める。はたしてソニーでないとできないことがどれだけあるかというと、そんなにない。既存の技術を組み合わせて、新しいものを作っていく考え方の方が、いろいろなことができる。
今の仕事を続けていて、5年後、10年後にどんなものを世の中に出せるだろうかと思いました。特許を書くだけで、エンジニア人生が終わってしまうかもしれない。そういう世界にいると、「まず世の中に問おう」という気持ちが生まれました。表現やエンタメの世界は、最初にやった者勝ちです。その世界で、自分が生きた形跡を残したかった。
Perfume「氷結SUMMER NIGHT」ライブ演出に衝撃を受ける
──ライゾマティクスとの出会いは？
Perfumeの「氷結SUMMER NIGHT」ライブです。ホログラム（立体映像）のような演出が衝撃的でした。
Perfume「氷結SUMMER NIGHT」（2012年7月）では、「コンピュータ映像をアーティストが指先で操る」「映像と生身のアーティストを組み合わせ、3人組のPerfumeが6人で踊っているかのように見せる」といった視覚のマジックで聴衆を驚かせた。透過スクリーンとプロジェクタを組み合わせ、アーティストが身につけたマーカーと画像認識を組み合わせ、アーティストの動きに合わせてCG映像がリアルタイムに変化するなどの最新技術を駆使した演出だった。このライブの映像が公開された後、ネット上には仕組みを考察するBlogエントリが複数登場した（例えば、デザイナー坂井直樹氏の考察や、GIZMODEの記事がある）。
──「やられた」感じですか？
そうですね。これを見て演出で使われた技術を作った会社であるライゾマティクスにも興味を持ちました。ここだったら面白いことができそうだなと。そう思っていたら、採用募集が出ていたので応募しました。入社は2014年5月です。
「現場」では地べたに座ってプログラミング
──どのような意識で作品に取り組んでいますか？
根本として考えているのは、人を驚かせたいということです。自分の仕事は、アートというよりはエンタメの文脈だと捉えています。
──作品への関わり方について、技術とクリエイティブの比率はどれくらいですか？
私はどちらかというと技術寄りですが、作品作りそのものにも関わっています。メンバーによって違いはありますが、ライゾマティクスの場合は、技術とクリエイティブのどちらか片方しかやらない人はいません。
──エンタメ系の仕事だと「現場」がありますよね。机の上でプログラミングしている時間と、現場に出ている時間は、どんな割合ですか？
机の上でプログラミングしている時間は、割合としては多くないですね。作ったものは、まずテストします。その場合、例えばプロジェクションマッピングであれば、本番にできるだけ近い環境を作ってそこでテストします。ライゾマティクスでもスタジオのスペースを持っていますし、倉庫を借りてテストをすることもあります。その現場でもプログラミングはします。現場で、地べたに座り込みながらひたすらプログラミングすることもあります。
リハーサルはもちろん、システムのセットアップから全部立ち会います。ケーブルを這わせて、みたいな世界です。
──現場の仕事は大変じゃないですか？
ほどよい緊張感というか。個人的にはつらいとは思わないですね。
旧国立競技場ラストセレモニーは時間との闘いだった
──旧国立競技場の「REMEMBER OUR STADIUM」のプロジェクトを手がけたそうですが、どういう苦労がありましたか？
2014年5月31日に閉場した旧国立競技場の記憶を伝える「REMEMBER OUR STADIUM」。旧国立競技場のラストセレモニーでは、一般の観衆が競技場をその場で撮影してアップロードした合計3836枚の写真を素材に、画像処理を駆使した映像作品に仕上げて上映した。
Advertising Agency: DENTSU INC.｜Advertising Agency : Rhizomatiks｜ Executive Creative Director: Yuya Furukawa (DENTSU INC.)｜Creative Director: Kaoru Sugano, Kota Tohata (DENTSU INC.), Daito Manabe (Rhizomatiks)｜Copywriter: Kana Koyama (DENTSU INC.)｜Art Director: Shinya Seino (DENTSU INC.), Hiroyasu Kimura (Rhizomatiks｜Agency Producer: Hikaru Ikeuchi (DENTSU INC.)｜Other: Kohei Ai / Naoto Yamada (Dentsu TEC Inc.)｜Production Company: P.I.C.S Co., Ltd｜Director: Takashi Tomohisa｜Cinematographer / D.O.P: Muryo Honma (Rhizomatiks)｜Designer: Hiroyasu Kimura (Rhizomatiks)｜Executive Production Producer: Hidenori Chiba (Rhizomatiks)｜Production Producer: Takahiko Kajima (P.I.C.S Co., Ltd)｜Production Manager: Yoshie Nishikawa (P.I.C.S Co., Ltd)｜front-end programming: Yuya Hanai / Kentaro Mito / Minoru Sako (Rhizomatiks)｜Sound Designer: Ayako Taniguchi｜Special Effects Company: tymote / P.I.C.S.management｜Visual Effects: Hitoshi Morita (Tymote)｜back-end programming: Hajime Sasaki / Shunsuke Shiino (MOUNTPOSITION)
これは私がライゾマティクスとして最初に参加したプロジェクトでした。本番という意味では、2014年5月31日の国立競技場ラストセレモニーの会場でのビジュアライジングがメインです。それを後日、Webサイトで公開しました。
この仕事の準備で一番大きかったのは、「できるのか」を確認するフィージビリティスタディの部分です。こういう技術で、こういうことが、本当にできるのか。現場で、観客の皆さんが写真を撮ってから「できませんでした」とならないように、テストしないといけません。
そこで、実際に空の国立競技場で写真をたくさん撮るテストを何回か実施しています。その上で、「国立競技場最後の日を記念に残しましょう」ということで一般参加者に写真を撮ってもらっています。ラストセレモニー当日のタイムテーブルでは、19:30に写真を撮って、19:50までに集めて、21:12には映像として見せます。撮影した写真の計算処理に使える時間は30分です。その範囲内でできることを考えました。ライブの仕事をするようになった今から振り返ると、本当のリアルタイムではないのでそんなに緊張することじゃないな、という感覚ですが（笑）、当時の自分にとっては大変なことでした。
写真をたくさん撮って3Dにするサービスは、たくさんあります。単純に考えると「既存サービスを使えばいいのではないか」という発想も出てきます。しかし、よく検討してみると、処理に時間がかかったり、写真のクオリティに問題があったりします。やはり専用のシステムを組むことになります。
リスクヘッジとして、44台のデジタル一眼レフを用意しました。さらに、リハーサル時に撮影した写真を元に、3Dモデルを事前に作っておくようにしました。ここで使っている技法は、（独自性が強い）「オレオレ画像処理」です。使った技術の中で一番簡単な例として、ステレオマッチングがあります。視点が異なる複数の画像から、共通の特徴点を抽出して突き合わせます。これに位置情報を組み合わせて3Dモデルを計算します。事前に用意した44台のデジタル一眼レフは、これはどういう特性のカメラなのかが分かっているので、画像処理をする際にパラメータ修正をしやすいメリットがあります。同じカメラで同じところを同じ露出で撮れば、同じような絵になりますから、特徴点抽出もコントロールしやすい。
こういうリスクヘッジをした上で、当日の会場で実際に観客の皆さんにスマートフォンで撮ってもらった写真を組み合わせて、映像を作りました。
──こうした段取り、ワークフローの設計にも、花井さんが関わっていらっしゃるんですね。
はい。電通のクリエイティブディレクター、ライゾマティクス真鍋（大度）、本間（無量）と共に綿密に段取りを組み上げました。
Nosaj ThingのVJでは手の動きをセンスしてCG映像を制御、視点がぐるぐる移動
──Nosaj ThingのVJは、ビジュアルが鮮烈でした。
TAICOCLUB'15でプレイしたNosaj Thingの映像。アーティストの動きに合わせCG映像が変化し、しかも次々に複数の視点へと移動していく。画像認識、画像処理を組み合わせた映像のマジックを、ライブステージでリアルタイムに見せた。
Director, Programmer: Daito Manabe (Rhizomatiks Research)｜Programmer: Yuya Hanai (Rhizomatiks Research)｜Motion Capture System Support: Crescent｜Visual Support (CG Designer): Akira Miwa, Kohki Okuyama, Kazuki Kuroiwa, Daisuke Maeda, Jun Terai｜Visual Support (CG Producer): Akira Iio
カメラから取り込んだ映像をリアルタイムで処理して3D化しています。カメラは8台。3D映像用は3台です。ここは音のデータも解析して、映像に反映しています。全体のディレクションと映像は真鍋で、私はシステム周りを主に担当しました。
──Nosaj ThingのVJはライブで行われたものだそうですが、テストの時はどんな様子だったのでしょうか。
Nosaj ThingのVJ場合は、ライゾマティクスのオフィスで、Nosaj Thing本人と一緒に開発しました。このVJでは、機器の操作の様子をセンス（検出）してビジュアルに反映させています。例えばDJの右手がフェーダーを操作する様子をカメラで受けてビジュアルに反映します。帽子にもマーカーが付いていて、モーションキャプチャ（動き検出）に使っています。
──技術的に難しいのは、どういう部分になりますか？
カメラの台数が多く、システムが複雑です。画像認識のような個々の要素技術は、いってみれば枯れた技術ですが、その一個一個を組み上げるのは大変です。
本番ではミスができません。そこで堅牢性、フェイルセーフなどの工夫が大事になってきます。そういう部分には労力を使います。
──舞台、ライブが好きではないとできない仕事だと思います。入社前に接点はあったのですか？
仕事として舞台に関わる経験は、入社してからです。入社前は、普通に演劇鑑賞をしていたぐらいです。あとアイドルが好きで、ライブに行ったりしていました。
前職では、使う機材はデスクトップPC、ラップトップPC、スマートフォンなど。ケーブルはUSBマイクロを使うぐらいでした。ライゾマティクスに入ってから、使う機材の量、ケーブルの種類が圧倒的に増えましたね。
──メディアアートの世界で、テクノロジーへの需要が高まっていることはありますか？
そういうことはあります。プログラミングできる人は、新しいアイデアに順応するスピードが早いので、意外に理系の大学でプログラミングをやってきた人がメディアアートの世界に入るハードルは低いと思います。いかに美しくコードを書くか、これはある意味芸術ですから。
＊＊＊
エンタメの世界で「生きた形跡」を残したいと思い、ライゾマティクスのプログラマーになった花井さん。人々を驚かせる、新しい演出を作るために、プログラミングにとどまらず、作品作りやリハーサル、設営などもこなしています。花井さんのようなあり方が、これから必要とされる新しいプログラマーの姿と言えるのかもしれません。
後編では、エンタメの演出では欠かせない、不測の事態に対処する姿勢や、自主制作での新しい取り組み、注目している技術について伺います。
著：星暁雄
写真：小倉亜沙子
