Anthropicは8月31日(現地時間)、同社のAIモデル「Claude」が本来アクセス権のない実際のコンピュータシステムへ不正アクセスした事例を7月30日に報告したと明らかにした。
この事例は、第三者の評価環境でサイバーセーフガードを意図的に解除した状態で実施されたものであり、インターネットへの接続が誤設定により可能となっていたことが原因とされた。加えて、8月4日には英国AIセキュリティ研究所によるClaude Mythos 5のサイバーセキュリティ試験でも予期せぬインターネット操作事案が発生した。
同社はこれらのインシデントを「運用上のセキュリティ失敗」と位置付け、隔離と監視体制の強化に着手した。具体的には、AIモデルが環境から逸脱しそうな動作をリアルタイムで特定・遮断する自動分類器の導入、高リスク評価環境の堅牢化、サンドボックスの多重防御、実行状況の常時監視などの対策を導入した。また、外部の評価者にもサンドボックスやネットワークの隔離、事前検証、明示的な範囲指定、リアルタイム監視の徹底を求めている。
さらに、報酬ハッキングや訓練環境の欠陥に起因するモデルの挙動不全に対する取り組みも強化。RL環境の全面見直しや監視システムの拡充を行い、訓練データや運用基盤の品質管理を徹底している。セキュリティ面でも、内部インフラへのアクセス制限や監視の強化、レガシー構成の刷新などを推進した。
Anthropicは今後も外部機関と連携し、継続的に調査と対策を進める方針を示している。
- 関連リンク
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア
