はじめに
身の回りのさまざまな領域でAIを組み込んだプロダクトの活用が進む一方、その品質が原因で導入に至らなかったり、導入したのちにビジネスや社会に悪い影響を及ぼしたりするケースが増えています。本連載では、第1回でAIプロダクトの品質保証に関するガイドラインの解説と考察について述べたのちに、第2回でそのガイドラインを実際のプロジェクトで運用する方法を、具体例を交えながらご紹介し、さらに第3回で、具体的な応用としてMLOpsを用いた運用についてツール等も含めてご紹介します。
AIの品質に関する注目の高まり
2000年代から現在まで続く第3次AIブームをきっかけに、ビジネスの現場や日常生活でAIの活用が進んでいます。しかしAIには品質の把握が困難などの特性があり、従来の品質保証の手法が通用しないという課題があります。安全性や基本的人権を脅かす懸念もたびたび指摘されています。Partnership on AIが2020年に公開したデータベース[1]では、1000件を超えるAIのインシデントが公開されています。
この懸念に対処するために、各国で規制等の検討が進んできています。欧州では、AIの信頼性を高めるためにリスクベースでのアプローチが取られており、AIの利用目的に応じて「容認できないリスク」「高リスク」「低・最低限のリスク」という3段階のリスクが設定され、段階別の規制を設けるという法案[2]も提出されています。例えば、高リスクにおいては運用開始前の開発段階に加えて、運用開始後の品質管理も求められます。一方、米国の規制方針[3]では、特にバイアス（先入観、偏見）や倫理面などの面から、公平性に関する対応（データの点検や説明責任など）を企業に求める考えが示されています。
社会の変化に合わせてAIのモデルを変化させなければならない状況も増えてきています。例えば、自動運転に使われるAIであれば、交通ルールの変更や社会の要請の変化などに応じて、モデルを対応させていく必要があります。そのため、DevOpsの機械学習版ともいえるMLOps（Machine Learning Operations）など、AI品質を継続して管理する取り組みにも注目が集まっています。
こうした背景から、AIの品質に関わる各種標準やガイドラインが国内外で多数公表されています。本稿で解説する「QA4AIガイドライン」もその1つです。
その他の例としては、2022年10月に米国政権から発表されたAI権利章典があります。その中ではAI開発の5つの原則が以下のように示されています[4]。
- 安全で効果的なシステム
- アルゴリズムに基づく差別からの保護
- データ・プライバシー
- 通知と説明
- 人間による代替、考慮、予備的措置
これらは、テック企業の説明責任を追及し、米国人の市民権を保護する方針で発表されており、AI開発に携わっている方々は考慮しておいた方がよい内容だと考えます。
