AIは「副操縦士」から「自律したメンバー」に変わった
「生成AI時代のクレデンシャルとパーミッション設計」と題した本セッションで佐々木拓郎氏がまず提示したのは、AIエージェントに仕事を任せるほど、AIに渡す権限は広がっていくという構造的な課題だ。自律的に作業を進めてほしいという期待の一方で、権限を広げればセキュリティやガバナンスへの不安が高まる。この相反する2つの要求をどう両立させるかが、このセッションのテーマだと佐々木氏は語る。
出発点にあるのは、AIの立ち位置の変化だ。かつてのAIはCopilot（副操縦士）、すなわち候補を出し、人間が判断して実行する支援ツールだった。しかし、今のAIエージェントはタスクを受け取ると自律的に判断し、実行までを完結させる。
「テストを直して」と1つ指示すれば、エージェントはテストを読み、コードを書き換え、実行し、確認するところまで一気に行う。成果物を出す主体が人からAIへと移っている、というのが佐々木氏の見立てだ。当然、人は1手ずつを確認できなくなる。佐々木氏自身も最初はAIの作業を1つずつ見ていたが、だんだん承認を押すだけになり、最近では確認を出さずに実行させる自動承認モードを使うようになったという。
ここで佐々木氏が投げかけたのが「今使っているそのAIは、どこまであなたのPCに触れられますか」という問いだ。多くの環境では、何も設定しなければAIはユーザーと同じ権限で動く。読めるファイルも打てるコマンドも人間と同じであり、このまま任せるのは危険だと佐々木氏は指摘する。
実際に起きうる事故として紹介したのがIndirect Prompt Injection（間接プロンプトインジェクション）だ。AIが読み込んだWebページに悪意ある指示が仕込まれており、その指示に従って.env（APIキーなどを記載したファイル）の中身が外部に送信されてしまう。AIは指示とデータを本質的に見分けにくく、各社が対策を講じてもなおリスクは残ると佐々木氏は説明する。
事故を防ぐ3つの設計「できること」「届く範囲」「鍵の渡し方」
こうしたリスクを踏まえ、佐々木氏はAIによる事故を減らすために設計すべき3つのものを示した。1つ目は「できること」、AIがどのコマンドを実行できるかという権限の設定だ。2つ目は「届く範囲」、AIがどこまでアクセスできるかという境界の設計。そして3つ目が「鍵の渡し方」、すなわち認証情報をどう扱うかという、最もややこしく、このセッションの核心でもあるテーマだ。
何を任せ、どこから先は任せないかを決めることで、AIに安全に任せられる範囲を広げられると佐々木氏は語り、具体的な設計手法の解説へと移った。
