9秒で本番DBと全バックアップが消えた──AIエージェントを止める3つのガードレール
#マンガでわかるAIの仕組み 第4話

AIエージェントが勝手にファイルを削除した？

　話題になった実際の事故事例を紹介します。

【事例①　9秒で本番DBが消失】

　2026年4月、海外の自動車レンタル向けSaaS企業で、AIエージェントが本番データベースとバックアップをすべて削除してしまう事故が起き、約3カ月分のデータが消失しました。

　AIエージェントがテスト環境でデバッグ中、認証エラーに遭遇し、自力で解決しようとしました。権限の強いAPIキーがAIエージェントの手の届くところにあったため、わずか9秒の間に、本番環境のデータベースを削除できてしまったのです。

【事例②　「これ以上変更しないで」と言ったのに……】

　2025年7月、海外の、とある経営者がAIエージェントをテスト使用していた時に起きた事故です。「これ以上コードを変更しないで（コードフリーズ）」と人間が繰り返し命令していたにもかかわらず、AIエージェントはコードを変更し、それが引き金となって本番環境のデータベースが削除されました。

　実はそれよりも前から、AIエージェントが「動作確認のためにダミーデータが必要だ」と統計的に判断し、架空のユーザー4,000件を本番データベースに勝手に混入させていたことも判明しました（※人間をだまそうとしたわけではなく、AIなりに良かれと思っての行動でした）。

　たとえば、AIエージェントに「エラーを直して」と命令したとします。

　そのときAIエージェントは、目的を達成するために、人間が想像もしなかった方法を選ぶことがあります。さきほどの事例では「問題を解決すること」を最優先にした結果、まわりまわって「データを消す」という判断に至りました。

　AIエージェントから見れば、そのとき、その文脈において、統計的に最も自然な次のアクションが「データの削除」だったのでしょう。

　だからといって「AIは危険だ！」と遠ざけるのは、包丁が危ないから料理をやめるようなものです。本当の問題は、AIエージェントの手の届く場所に、本番環境を壊せる権限がそのまま置いてあったこと。つまり、人間側の境界線の引き方＝ガードレールの設計にありました。

ガードレールとは？

　そもそも、AIエージェントにおけるガードレールとは何でしょうか？

　ガードレールとは：

　エージェントに与える機能、権限、自律性を必要な範囲に制限し、その境界をシステム側で強制することによって、許容範囲を超える操作を拒否・縮小・保留する仕組み

　ちょっと難しいな……と思ったあなた。

　「AIエージェントに、その仕事に必要なもの以上の力を与えない」

　これがガードレールの目的なんだな〜と思えば大丈夫です。

ガードレールで食い止める！ 具体的な対策

　では、どうすれば防げたのでしょうか。

　有効な対策を3つ紹介します。

サンドボックス

　コンピュータの中に本番環境とは隔離された仮想環境（Sandbox：砂場）を用意して、その中だけでプログラムを動かす仕組みです。砂場の外には影響が出ないため、万が一AIエージェントが想定外の動作をしても、被害を最小限に抑えられます。

　ただし、砂場の中なら何でも許可していいわけではありません。サンドボックスは、被害を外に出さないための仕組みであり、それだけで完全に安全とは言い切れません。次の2つの対策と重ねて使います。

最小権限の原則

　AIエージェントに渡す権限を、必要最低限に絞る考え方です。データを読むだけでいいなら、書き込みや削除の権限は最初から渡さなければいいのです。

　事例①でも、強い権限を持つAPIキーがエージェントの手の届く場所になければ、全データが消えることはなかったでしょう。

ヒューマン・イン・ザ・ループ（HITL）

　ファイルの削除や金銭の移動など「取り返しのつかない戻せない操作」を実行するときは、人間の承認を必須とします。言葉で「やめて」と頼んでもAIは止まりません。あらかじめ、承認なしには変更できない仕組みをつくっておく必要があります。

　※この3つに限らず、複数の対策を組み合わせた多層防御が基本です。

ガードレールの３つの観点：機能・権限・自律性

　今紹介した3つの対策は、別の角度から見るとこう整理できます。

1. 機能：AIエージェントに過剰な機能を持たせていないか？（例：AIエージェントに削除ツール自体を与えない）
2. 権限：どこまで手が届くか？（例：本番DBにはDELETE権限を与えない）
3. 自律性：AIエージェントがどこまで単独で操作を実行できるか？（例：大量削除はポリシー判定または人間の承認を必要とする）

　参考：Excessive Agency（過剰なエージェント性）- OWASP

【ミニクイズ】

【質問】 マンガ内に登場した対策は、3つの観点に当てはめるとそれぞれ何でしょうか？

　・サンドボックス

　・最小権限

　・HITL

【答え】

　サンドボックス → 【権限】の範囲を制御する実装方式

　最小権限 → 【権限】の範囲に適用する設計原則

　HITL → 【自律性】を制限する方法のひとつ

　※『機能』に対応する対策は、次回のエピソードで登場します

AIの性能は信用するが、安全は預けない

　AIエージェントの能力は非常に優秀ですが、彼らの下す判断を人間の常識と同じ感覚で信用してしまうと、大きな事故につながります。

　これからのAI活用においては「このAIはどんな素晴らしいことができるのか？」という期待と同時に「最悪の場合、どこまで壊せるのか？」というリスクに着目する、一歩進んだ危機管理の目線が不可欠です。

　「〇〇社のAIが暴走！」なんてニュースを見ると、つい反射的に「あのAIエージェントは危険だから、使うのをやめよう」と思ってしまいがちです。しかし、リスクはAI側にあるのではなく、ガードレールを設計する人間側にあるのです。

　AIエージェントを使う際は、まずは「適切なガードレールが敷かれているか？」をチェックすることから始めてみましょう。

　次回第5話は、プロンプトインジェクションの恐怖に迫ります！

登場人物紹介