守るためのブレーキではなく、判断するためのメーターを
奥沢氏は生成AIセキュリティ対策のゴールを「説明可能な運用によって、安全に生成AIアプリを継続改善し、利活用を推進すること」と定義した。従来のセキュリティ対策は「わからないからブレーキを踏む」役割を果たしてきた。だが生成AIを積極的に活用するには、現在の状態を正しく可視化できる「メーター」として機能させることが必要だという。「生成AIは毎回聞くたびに答えが異なる。どのような状況にあるかの計測は非常に難しい」と奥沢氏は述べ、だからこそリスクを正しく評価して判断できる状態をつくることが鍵になると説いた。
その具体的なプロセスとして示されたのが、Observe（観測）→Detect（検知）→Red Team（テスト）→Improve（改善）→Release（配布）→Measure（測定改善）という6ステップが循環するループだ。LLMのモデルが数カ月単位で更新され、セキュリティリスクも同等の速度で増え続ける以上、「このループを頻繁に回す必要がある」と奥沢氏は強調した。
このループを実装レベルで支えるソリューションとして、マクニカの谷川朋輝氏が紹介したのがCisco AI Defenseだ。「発見」「検出」「保護」の3フェーズで構成され、AI資産の可視化と棚卸しを行う「AI Cloud Visibility」、脆弱性の評価とリスクスコア算出を担う「AI Validation」、ガードレールを適用して本番運用を維持する「AI Runtime」という機能群が、先述のループに対応している。
AIが攻撃者を演じて、自社モデルのリスクを測る
谷川氏がとくに詳しく解説したのが、検出フェーズを担うAI Validationだ。その核となるのがレッドチーミングという手法で、攻撃者の視点から大量のテストを自動実行し、AIシステムのリスクを評価する。米国の自主規制や日本の「責任あるAIの推進のための法的ガバナンスに関する素案」でも有効な対策として推奨されている。
レッドチーミングを手動で実施しようとすると、アセスメント・脅威分析・テスト計画・テスト実施・報告・対策というプロセスに専門知識と膨大な工数が必要になる。モデルが数カ月単位で更新される現代では、リリースのたびに手動で繰り返すことは現実的ではない。
AI Validationはアルゴリズムによる自動化でこの課題を解決する。「人手では気づきにくい攻撃パターンや弱点を自動的に評価できるので、人手では不可能な最新の脅威にも対応できます」と谷川氏は説明した。テスト結果はダッシュボード上にグラフィカルに可視化され、OWASPやMITRE ATLASといった国際標準とのマッピングも確認できる。
