「上限がある仕事」はオープンモデルへ──トークン爆発の時代に、今井翔太氏とNVIDIA井﨑武士氏が引くAIモデル選定の線

「NVIDIA Agentic AI Day Japan 2026」イベントレポート

「放っておくと何をするか分からない」エージェントへの備え

　フロンティアモデルとオープンモデルの使い分けに続く2つ目の論点は、安全性だ。井﨑氏は、AIエージェントの安全性には2つの面があると整理した。

　一つは、エージェントそのものの制御だ。従来のプログラムは人が仕様を決めて作るので、何をするかを事前に予測できた。エージェントは自分で考え、ツールを使い、ゴールのために行動計画を立てるため、何をするかは予測できない。もう一つは、従来型のシステム防御だ。

　今井氏は前者を「デジタルインフラ再編問題」と呼ぶ。

　「はっきり言って、いまのデジタル空間のインフラを丸ごと作り直さないと、どうにもならないと思っています」

　今井氏によれば、OpenAIはこれまで、制限をかけたうえでエージェントをインターネットにつないで学習させていた。しかしエージェントの暴走が続き、本物のインターネットに直接触れさせることを諦め、Web空間を再現したオフライン環境を自社のサーバー上に用意するようになったという。

　「それくらい、現状の最先端のAIエージェントは、放っておくと何をするか分からないのです」

　前の論点のとおり、小さなモデルで十分な性能が出るようになれば、民間企業のレベルでもAIの暴走は起きうる。そのとき、AIの外側のインフラやガードレールをどう設計すべきか。今井氏は「いまは僕も分からない」と率直に語った。

出口を絞る多層の防御

　井﨑氏は、NVIDIAとしての備えを3層で示した。推論モデルが不適切な出力をしないようにするガードレールの設計ツール。エージェントがサンドボックスの外のどこにアクセスできるかを、ポートやファイルの単位でホワイトリストとして管理し、許可した宛先にだけ通信を通す「NVIDIA OpenShell」。そして、ハードウェアの層でパケットを監視し、必要に応じて遮断する仕組みだ。OpenShellはオープンソースで公開している。

ルールでも監視でも防ぎきれない可能性

　それでも、エージェントは一筋縄ではいかない。井﨑氏は最近聞いた話として、ガイドラインやガバナンスを読み込ませて従わせようとしても、「AIエージェントは賢く、自分だけはこのガバナンスを攻略するロジックを自分で作り、勝手に抜けていく」ことがあると明かした。

　推論過程を監視すればよいのか。今井氏はこれにも疑問を投げかけた。最近のAIエージェントは、推論の途中で人間の言語を使わないことがあるという。ドクロの絵文字が並んだり、存在しない言語が書かれたりする。

　「思考過程がめちゃくちゃなだけなら、ばかげたことをしているだけで済みます。ところが、これだけめちゃくちゃなのに、最後の答えは合っているのです」

　人間には意味をなさない文字列に見えても、モデルにとっては答えにたどり着くための推論として働いているように見える。AIが、人間には読み取れない形で考え始めている可能性があるということだ。今井氏は、OpenAIのチーフサイエンティストであるヤクブ・パチョッキ氏がAIを「エイリアン」になぞらえていることにも触れた。

　推論過程を監視しても、防げないかもしれない。井﨑氏は「出口をパケットで区切るなど、何段階かの防御策を重ねていくしかない」と応じた。今井氏は、AnthropicやOpenAIが暴走を防ぐハーネスを作っていても公開はしないだろうとして、NVIDIAのような第三者が公開してほしいと期待を寄せた。

町の事業者を守るのもオープンモデル

　もう一方のシステム防御でも、オープンモデルが鍵になる。今井氏は、セキュリティは本来フロンティアモデル同士のポケモンバトルだとしつつ、現実には個人情報を持つ事業者が無数にあると指摘した。

　「町の歯医者さんや町の商店が、すべてAnthropicやOpenAIのフロンティアモデルを使って防御できるかというと、たぶんそれは無理です」

　防御側で使われるのは結局オープンモデルになる。ただし中国製のモデルは、経済安全保障の観点からセキュリティ用途では使えなくなる可能性が高い。残る選択肢は、GoogleのGemmaやNVIDIAのNemotronといった米国製のオープンモデルだという。今井氏は、国内で起きているサイバー攻撃の多くは浅い脆弱性を突いたもので、オープンモデルでも十分に直せる水準だと見る。

　井﨑氏は、脆弱性診断にもコストの壁があると付け加えた。エージェントはシステム全体をなめるように調べるうえ、システムが更新されるたびに診断をやり直す。フロンティアモデルで続けると、トークンが爆発する。今井氏も、フロンティアモデルの提供側は通常の推論でも大きな赤字を抱えており、世界中の事業者のセキュリティまでは担えないと述べた。そこで井﨑氏が期待を寄せたのが、オープンモデルを使って町の事業者でも使えるセキュリティサービスを提供するISV（独立系ソフトウェアベンダー）だ。

会場で見た、「人が承認するまで外に出られない」エージェント

　この「出口の制御」を目の前で見せていたのが、同時開催の「Build-a-Claw」だ。DGX Sparkの上でローカルに動くAIエージェントを、NVIDIAのエキスパートの説明を受けながら体験する場で、エージェント基盤には、オープンソースのAIアシスタント「OpenClaw」と、それをOpenShellの中で安全に動かすNVIDIAのリファレンス実装「NVIDIA NemoClaw」が使われていた。

　施設管理のデモ「Facility Claw」では、画面の右にオフィスフロアのデジタルツインが映り、各部屋の温度や湿度、CO2濃度が表示されている。左のエージェントは、施設の情報を書いた設定ファイルを読み込ませるだけで、その施設のアシスタントとして振る舞い始める。

　ところが、エージェントに「サーバールームの温度を取得してください」と頼むと、最初は失敗する。OpenShellのサンドボックスが、既定で外部への通信を遮断しているためだ。管理者の画面には、エージェントが試みた通信が承認待ちとして並び、人が承認するまでブロックされる。管理者がサーバールームのデータへの経路だけを承認すると、エージェントは温度を取得できるようになった。

Facility ClawのOpenShell管理画面。エージェントが試みた通信が承認待ちとして並び、人が承認するまで外に出られない

　経路が開いたあとは、監視も自然言語で頼める。「サーバールームの温度が異常だったらアラームを出して」と指示すると、エージェントは温度の基準と確認の間隔を決め、異常時にはダッシュボードと卓上のシグナルタワー（積層表示灯）へ警報を送る監視を自ら組み立てた。

Facility Clawのデモ画面。左のエージェントが取得したサーバールームの温度を報告し、右のデジタルツインでは温度が高い区画が赤く表示されている

　エージェントの判断に任せる範囲と、人が決める範囲を、通信経路の単位で分ける。井﨑氏が語った「何段階かの防御策」の1段目が、手元のマシンで動いていた。