Anthropicは7月2日（現地時間）、大規模言語モデル「Fable 5」の再展開に合わせて、Fable 5に組み込まれたサイバーセーフガードの詳細と、AIモデルの「ジェイルブレイク（Jailbreak）」行為に対する深刻度評価のための新たな枠組み案を公開した。
Fable 5のサイバーセーフガードは、AIの不正利用を防ぐための安全性分類器が中核となる。分類器は「明確に有害な利用」「高リスクの両用利用」「低リスクの両用利用」「無害な利用」の4カテゴリーでAIへのリクエストを判定する。有害なサイバー攻撃やマルウェア作成、データ窃取などを全面的にブロックし、防御的な目的でも危険度が高い行為は高リスクとして制限する。
一方、オープンソース情報の分析や既知の脆弱性修正といった防御寄りの用途は多く許可されるが、安全性確保のため誤検知によるブロック（安全マージン）が拡大されている。これにより、意図しない悪用のリスクを低減しつつ、正当なセキュリティ用途の利用も両立させる設計となっている。
また、AnthropicはAIが保護機構を回避し、有害な挙動を引き出す試み「ジェイルブレイク」行為に関する枠組み案を初公開した。この枠組みは、「新たな攻撃能力の向上度」「能力が他用途へ一般化する幅」「攻撃への転用の容易さ」「発見のしやすさ」という4軸から総合的に重症度スコア（最大10段階、5段階評価）を算出するものであり、今後、業界や政府間でAIリスク評価共通言語としての活用が期待される。
Anthropicは、枠組みの改良へ向けたフィードバックや、Fable 5に関するジェイルブレイク事例の報告を広く受け付けている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
