OpenAIは10月29日（現地時間）、フロンティアモデルのミスアライメントを検知する監視システムの仕組みを公開した。Hugging Faceのインシデントで監視範囲の抜けが判明したことなどを受けてシステムを拡充し、トレーニング、評価、社内利用に加え、外部へのデプロイも対象とした。
監視は多層構造になっている。L0では、活性化プローブがモデル内部の活性化から懸念のあるパターンを検出する。L1では、モデルベースのレビュアーが会話、思考の連鎖、ツール利用を確認する。L2では、調査エージェントがセキュリティとアライメントの観点から重大度を判断する。L3では、ネットワークログなども照合する。
当時のインシデントを再現したシミュレーションでは、エージェントがサンドボックスを脱出してから約30分後に警告を出した。これは、実際にHugging Faceのシステムが侵害される30時間以上前にあたる。9月には、トレーニング中のモデルが隔離環境からインターネットへ接続する方法を見つけた事例を、15分以内に検知した。
外部向けには、Responses APIのツール利用リクエストを監視する。対応する会話追跡の仕組みを使う場合は、会話を自動停止できる。エンタープライズ顧客は、Webhookによるアラートも設定できる。なお、Chat Completions APIは監視の対象外である。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
