SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZineニュース

AISI、「AIセーフティに関するレッドチーミング手法ガイド」を公開

  • X ポスト
  • このエントリーをはてなブックマークに追加

  • X ポスト
  • このエントリーをはてなブックマークに追加

 情報処理推進機構(IPA)内に事務局を置くAIセーフティ・インスティテュート(AISI)は、AIセーフティ評価手法の1つである「レッドチーミング手法」について解説する「AIセーフティに関するレッドチーミング手法ガイド」を、9月25日に公開した。

 同ガイドでは、AIシステムの開発者や提供者が対象となるAIシステムに施したリスクへの対策を、攻撃者の視点から評価するためのレッドチーミング手法に関する基本的な考慮事項を示している。

 レッドチーミングは、攻撃者がどのようにAIシステムを攻撃するかという観点で、AIセーフティへの対応体制および対策の有効性を確認する評価手法であり、AI開発者・AI提供者のうち、おもにレッドチーミングの企画・実施に関与する人が対象となる。また、システムとしては大規模言語モデル(LLM)を構成要素としているAIシステム(LLMシステム)も対象に含まれる。

 同ガイドの構成は以下の通り。

  1. はじめに
  2. レッドチーミングについて
  3. LLMシステムへの代表的な攻撃手法
  4. 実施体制と役割
  5. 実施時期及び実施工程
  6. 実施計画の策定と実施準備
  7. 攻撃計画・実施
  8. 結果のとりまとめと改善計画の策定

 2章では、レッドチーミングの種類を前提知識の有無・程度や実施環境、攻撃の実施方法によって分類して示しており、3章ではLLMシステムへの代表的な攻撃手法例として、攻撃者が悪意あるプロンプトをAIシステムに直接注入する攻撃である「直接プロンプトインジェクション」をはじめとする、8つの攻撃手法を例として示している。

 4・5章では、実施体制と役割、実施時期について多様な関係者(攻撃シナリオの実施によって影響を受けるシステムに関わる組織)が参画することが望ましく、またAIシステムのリリース/運用開始前に加え、運用開始後も、必要に応じて随時実施することが望ましいことを解説する。

 6〜8章では、レッドチーミングの工程をそれぞれ第1工程「実施計画の策定と実施準備」、第2工程「攻撃計画・実施」、第3工程「結果のとりまとめと改善計画の策定」に分けて説明しており、各工程で5つずつ実施事項を示して、「実施の決定とレッドチーム発足」から「改善後のフォローアップ」まで計15ステップについて詳細に述べている。

内容例
内容例
関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/20249 2024/09/27 13:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング