OpenAIがGPT-Redを公開、自動化された高精度な安全性強化モデル

　OpenAIは7月15日（現地時間）、AIシステムの安全性評価と堅牢性向上を目的とした自動化レッドチームモデル「GPT-Red」を公開した。

　従来の人手によるレッドチームは新たな脆弱性の発見に有効だが、設計や運用に時間がかかる上、膨大かつ多様な攻撃データの生成は困難であった。これがモデルの安全性向上のボトルネックとなっていた。

　GPT-Redは自己対戦による強化学習を用いて訓練され、重要なセーフガードが施された環境で攻撃シナリオを探索・実行する。従来の生産モデルや内部モデルに対し、特にプロンプトインジェクション攻撃で高い攻撃成功率を示し、GPT-5.6などの最新モデルの訓練に活用されている。結果として、GPT-5.6 Solは、従来モデルと比較して最難度のプロンプトインジェクションベンチマークで失敗確率が6分の1以下となった。

　GPT-Redの実力は、AI制御の自動販売機など実世界のシステムを用いたケーススタディでも立証されており、安全保障上の重大な脆弱性を発見した事例が報告されている。また、データ流出タスクにおけるベンチマークでは、人的レッドチームよりも大幅に高い成功率を示した。

　同社は今後も人間のレッドチームや第三者の監査、リアルタイム監視と組み合わせて、このアプローチを拡大していく方針だ。詳細な技術情報は近日中にプレプリントとして公開される予定である。