AISI、「AIセーフティに関するレッドチーミング手法ガイド」を公開

　情報処理推進機構（IPA）内に事務局を置くAIセーフティ・インスティテュート（AISI）は、AIセーフティ評価手法の1つである「レッドチーミング手法」について解説する「AIセーフティに関するレッドチーミング手法ガイド」を、9月25日に公開した。

　同ガイドでは、AIシステムの開発者や提供者が対象となるAIシステムに施したリスクへの対策を、攻撃者の視点から評価するためのレッドチーミング手法に関する基本的な考慮事項を示している。

　レッドチーミングは、攻撃者がどのようにAIシステムを攻撃するかという観点で、AIセーフティへの対応体制および対策の有効性を確認する評価手法であり、AI開発者・AI提供者のうち、おもにレッドチーミングの企画・実施に関与する人が対象となる。また、システムとしては大規模言語モデル（LLM）を構成要素としているAIシステム（LLMシステム）も対象に含まれる。

　同ガイドの構成は以下の通り。

1. はじめに
2. レッドチーミングについて
3. LLMシステムへの代表的な攻撃手法
4. 実施体制と役割
5. 実施時期及び実施工程
6. 実施計画の策定と実施準備
7. 攻撃計画・実施
8. 結果のとりまとめと改善計画の策定

　2章では、レッドチーミングの種類を前提知識の有無・程度や実施環境、攻撃の実施方法によって分類して示しており、3章ではLLMシステムへの代表的な攻撃手法例として、攻撃者が悪意あるプロンプトをAIシステムに直接注入する攻撃である「直接プロンプトインジェクション」をはじめとする、8つの攻撃手法を例として示している。

　4・5章では、実施体制と役割、実施時期について多様な関係者（攻撃シナリオの実施によって影響を受けるシステムに関わる組織）が参画することが望ましく、またAIシステムのリリース／運用開始前に加え、運用開始後も、必要に応じて随時実施することが望ましいことを解説する。

　6〜8章では、レッドチーミングの工程をそれぞれ第1工程「実施計画の策定と実施準備」、第2工程「攻撃計画・実施」、第3工程「結果のとりまとめと改善計画の策定」に分けて説明しており、各工程で5つずつ実施事項を示して、「実施の決定とレッドチーム発足」から「改善後のフォローアップ」まで計15ステップについて詳細に述べている。

内容例