生成AIプロジェクトが止まる理由の本質
2023年以降、社内チャットやRAG、文書要約といった業務向け生成AIの活用が急速に広がり、2024年末にはAIエージェントが大きな注目を集めた。ナレッジコミュニケーション代表取締役CEO兼CTOとして複数の大手企業の生成AI活用を支援してきた奥沢明氏は、「AIエージェント元年と言われていましたが、思ったほど活用が進んでいないのではないかと感じています」と率直に語った。
奥沢氏は理由のひとつとして調査データを示した。ある調査でセキュリティを最大の課題とした企業は70%に達し、生成AIに対する不安の大きさを裏づける結果だった。なかでも深刻なのは、生成AIがブラックボックスであることへの不安だ。
奥沢氏が強調したのは、リスクの本質は事故そのものではないという点だ。「事故が起きたこと以上に、原因が突き止められない、説明できないことが大きなリスクになっている」と述べ、影響範囲や侵入経路を説明できない状況こそが経営を揺るがすと訴えた。
生成AI特有のリスクを整理する上で奥沢氏が引用したのが、OWASPが公開している「OWASP Top 10 for LLM Apps」だ。OWASPはアプリケーションセキュリティのリスクを評価・公開する国際団体であり、LLMアプリケーション特有のリスクとしてプロンプトインジェクション、機密情報の漏えい、データおよびモデルのポイズニング、過度な自律性（Excessive Agency）など10項目を列挙している。この10項目は、情報システム担当者にとってなじみのない概念も多く、従来のセキュリティ対策の範囲外に広がるリスクを可視化している。
セキュリティとガバナンスを統合しなければ守れない理由
この10項目を詳しく見ると、セキュリティ対策だけでなくガバナンスの整備も組み合わせなければ対処できないものが7項目にのぼることがわかる。
「セキュリティだけでは防御は難しく、セキュリティとガバナンスの両方を組み合わせることが必要だ」と奥沢氏は断言した。ここでいうガバナンスとは、ビジネスにおける生成AI活用の公平性・包括性・透明性を担う方針・統制の仕組みを指す。
ナレッジコミュニケーションが複数の大手企業と進めてきたのが、まずAIガイドラインを共同作成し、そのガイドラインに準拠したセキュリティ実装へと段階的に進めるアプローチだ。ただし奥沢氏は、「ガイドラインは作ること自体が目的化してしまうケースも多い」と指摘する。重要なのは、その内容を実装に落とし込み、実際のシステムや運用として機能させられる粒度まで設計することだ。「実装まで見据えてガイドラインを策定しなければ、現場では使われず形骸化してしまう。実装可能なレベルで計画することが、生成AI活用を成功させる鍵になる」と強調した。
また、従来の侵入テストをさらに発展させた「レッドチーム」も組み込み、継続的なループとして運用することが求められるという。では、そのループはどのように設計し、どう実装するのか。
