さくらインターネット・PFN・NICT、生成AIを継続評価する「能動的評価基盤」の社会実装へ

　さくらインターネット、Preferred Networks（PFN）、情報通信研究機構（NICT）は10月14日、生成AIを継続的に評価・改善する「能動的評価基盤」の社会実装に向けた取り組みを開始すると発表した。これは、2025年9月18日に締結した、国産生成AIのエコシステム構築を目指す基本合意に基づく取り組みとなる。

　現在の生成AIの安全性評価は、データベース化されたプロンプト集への応答を確認する方法が中心である。しかし、開発者側がこのデータベースを生成AIに学習させれば、評価で高評価を得られる可能性がある。また、利用形態や悪用の手口は日々変化しており、固定されたデータベースでは新たなリスクを十分に捉えにくいという。

　能動的評価基盤は、NICTが開発しているLLMの評価用システム。「きわどいプロンプト」を自動生成し、それに対する評価対象の出力を自動評価する。差別的・攻撃的な表現、犯罪を助長する回答、誤情報、日本の文化・法令との不整合、ハルシネーションなどを多面的に確認することを目指しており、問題点を改善するための学習データも自動合成する。現段階では、一部のコンポーネントのプロトタイプが稼働を開始している。出力を大量のWebページと照合してハルシネーションやバイアスの可能性を検知する「WISDOM-CE」と、危険性の高いプロンプトを大量に自動合成し、応答のリスクを理由とともに判定する「WISDOM-AR」で、将来的にはこれらを統合する予定である。

　今後、さくらインターネットは、能動的評価基盤の来年度中の運用開始を目指し、さくらのAI Engine上で提供する国内外のLLM群への適用を試験的に検討する。あわせて、課題の抽出や妥当性の検証、評価結果の妥当性を持続的に担保する方法論の検討を進める。PFNはNICTと連携してPLaMo 3.0 Primeの後継モデルを開発し、各モデルを能動的評価基盤に組み込む。NICTは基盤の高度化を本格的に開始し、さくらインターネットへ技術を提供する。20年近く収集してきた日本語Webデータや、質問応答システムWISDOM Xなどを組み合わせて、評価プロンプトを自動合成・更新する仕組みの開発も続ける。

　なお、PFNは2026年6月22日にPLaMo 3.0 Primeの提供を開始しており、8月4日からはさくらのAI Engineでも提供されている。

【関連記事】
・さくらインターネット、「さくらのAI Engine プライベートエディション」を提供開始
・さくらのクラウド、ガバメントクラウドの対象サービスに正式採択
・Preferred Networks、高速・省メモリなRust製Optuna実装「Rustuna」を公開