マルチモーダル学習ライブラリ「Heron」の開発
青木氏の言葉通り、チューリングは23年3月、国産LLM開発に着手したことを発表した。6月にはLLMで自動運転車を動かすプロジェクトを完遂させた。
同社が開発したLLMを活用した自動運転システムのレベルは、「レベル2に少し毛が生えた程度」と青木氏。レベル2はアクセル・ブレーキ操作およびハンドル操作の両方が部分的に自動化された状態を指す。レベル2までは責任範囲は運転者にある。「レベル2はADAS（Advanced driver-assistance systems）のようなものと言い換えることができます」（青木氏）レベル3以上になると責任は自動運転装置側に移る。そしてレベル5以外は走行するエリアは特定の走行条件を満たす限定された領域での自動運転ができることとなる。「区画で区切ればよいという話ではない。だからレベルは気にしていない」と青木氏は言い切る。
現在、さまざまな場所で自動運転の実証実験が行われているが、実際の世界で実装されていないのは、「人間がもたらす不確実性があるため」と青木氏は言う。例えば脇道から子どもが飛び出してくる、道路に人が倒れている、路駐の車があるなど、人間が運転する車や歩行者、自転車などは予測とは異なる動きをする。この人間の不確実性に加え、道に猫が寝転んでいたり、犬が走っていたりするかもしれない。このような不確実かつ複雑な環境でなければ、完全自動運転は今すぐにでも実現する。それは中国EC大手のアリババグループや米EC大手Amazonの倉庫では、AGVロボットによる完全自動化が実現していることでも明らかだ。
だが、完全自動運転するには、先のような人間がもたらす不確実性や現実社会の複雑性に適応できる頭脳が必要になる。そのためのツールとしてチューリングはLLMを活用している。
チューリングが活用するLLMはマルチモーダルのLLMである。AIの文脈で語られるマルチモーダルとは、テキストや画像、音声、動画など複数種のデータを扱うことができるAI。一般的にLLMというと、入力と出力はテキストに限定される。だが、高度な自動運転を実現するには、カメラや地図、音声などいろんなものから情報を仕入れる必要がある。
そこでチューリングが開発したのが、マルチモーダル学習ライブラリ「Heron」である。Heronは画像認識モデルと大規模言語モデルを接続し、各モジュールを追加学習するための学習コード、日本語を含むデータセット、学習済みモデル群で構成。Heronの最大の特長は、対話を含むデータセットを用いることで、自然かつ適切な対話が可能になっていること。「自動運転AIに直結しているわけではない」（青木氏）とはいえ、人間がもたらす不確実性や現実社会の複雑性を理解した自動運転AIを実現するために、欠かせない技術要素の一つと言える。
Heronはマルチモーダルモデルを系統的に学習できるように工夫されており、ソースコード部分については研究・商用利用が可能なApache License 2.0で公開。さらに約15万枚の画像/テキストの英文データセットに対し、独自に日本語訳した大規模な日本語の画像／テキスト情報のデータセットも作成、公開している。
LLMを活用した完全自動運転車に向けて
着実に完全自動運転車への道を歩んでいるように見えるチューリング。だがスタートアップで自動車業界への参入は、「障壁が高かった」と明かす。自動運転車の開発はPC1台があればできるわけではない。車というハードも必要になる。さらにそれを保管する駐車場も必要だし、動作を試す実験場や生産工場も必要になるからだ。
それだけではない。実際に会社を立ち上げてみると、車体や電装など車の設計開発に携わるハードウェアエンジニアとソフトウェアエンジニアの文化（使う言葉）の違いにも「難しさがある」と言う。しかし自動運転車の開発には、多様なエンジニアによる協働が欠かせない。「ハードやソフトというようなセグメント分けをせず、多様なエンジニアが協働して開発に邁進していける環境づくりにも苦労しました」（青木氏）
チューリングを牽引する青木氏、山本氏は共にソフトウェアエンジニア。車の専門家ではない。だからこそ、これまでの馬車からエンジンを搭載した自動車を生み出した。そして近年、完成車メーカーの開発の主力は、より安心・安全につながる技術へと移っている。このアプローチを「自動車は下（足回り）から発展してきた」と青木氏は言う。だが、チューリングではそのアプローチとは逆、AIやユーザー操作に関わるUIやUXなど、つまりソフトウェア側から自動車の開発を進めている。
30年には完成車メーカーとなるという目標を実現するため、24年12月にはマルチモーダルLLMを活用したチューリング独自の自動運転システムと車内を操作する車載ソフトウェアを搭載した、同社独自のデザインを施した車の発売を計画している。「車体自体の生産は他社の協力を得るが、当社オリジナルの車になるはず」と青木氏は笑みを浮かべる。
この車も自動運転レベルに当てはめるとレベル2。だがレベル2のまま自動運転AIを進化させていくことで、やがて右左折ができるようになり、横断歩道を正しく通過できるようになり、子どもがよくわからない動きをしても察知できるようになることができるという。「人間よりもうまく運転できるようになれば、ハンドルを外せばよい。そのときがレベル5の完全自動運転車の実現です」（青木氏）
