AIがテストシナリオを作るのはなぜ難しいのか？──オーティファイが挑む品質保証の現在地

【session2】AIで広がる挑戦を、品質で支える──Autify Nexusによる“最適な保証”の実現

AIを活用した新しいテスト保守──アプリの更新に合わせたシナリオの修正、自然言語によるテスト内容の記述

　テストシナリオの作成と実行だけでは、自動化は完結しない。アプリケーションが更新されれば、テストシナリオもそれに追従して修正する必要がある。この保守作業の負担が、従来のテスト自動化における大きな課題だった。

　Autify NexusはこのテストシナリオのメンテナンスにもAIで対応する。デモでは「ログイン」ボタンが「サインイン」という表記に変わったことでテストが失敗するケースが示された。ここでは、失敗したテスト結果画面に表示される「AIで修正」ボタンを押すだけで、AIが失敗原因を調査し、シナリオを自動修正する。

　AIはログインボタンがサインインボタンに置き換わったことを自動的に検知し、テストシナリオを修正した。ユーザーは修正されたシナリオを保存して即座にテストを再実行できる。「テストを作って実行するだけではなくて、その後、修正していく部分についても、AIに任せられる」と松浦氏は述べた。

　さらに先進的な機能として、「自然言語ステップ」が紹介された。従来の自動化では実行されるテストは毎回同じ固定的なステップの再生だったが、自然言語ステップを使うとテストの内容そのものを自然言語で記述できる。

　デモでは、ECサイトへのログイン処理を「以下のユーザー名とパスワードを使ってログインする」という自然言語の指示だけで実行するシナリオが示された。「どこにユーザー名を入れて、どこにパスワードを入れて、どのボタンを押せばいいのかということは一切指示してない」にもかかわらず、AIが自律的に判断して実行する。

　このテスト結果を見ると、1つの自然言語ステップがAIによって6つの具体的なステップに分解されて実行されていた。この機能により、複雑なワークフローを曖昧な指示で実行できるだけでなく、画面レイアウトの変更にも柔軟に対応できる。ログインボタンの位置や表記が変わっても、人が操作可能であればAIも適応できるため、テストの成功率が向上する。

　松浦氏は、テスト設計の起点となる仕様書の活用についても言及した。「テストケース生成」機能では、仕様書をアップロードするだけで、それに基づいたテストケースを自動生成できる。テキストとスクリーンショットが混在したPDFファイルなどのドキュメントにも対応しており、生成されたテストケースには、テスト対象の機能、事前条件、テストステップ、期待される結果が含まれる。

　例えばサイズがS、M、Lの3パターンある場合、それぞれに対応したテストケースが自動的に生成される。そのまま手動テストに使うことも、Autify NexusのAIエージェントに渡してテストシナリオを自動生成することもできる。仕様書からテストケース生成、シナリオ自動化、実行、結果確認というサイクル全体をAutify Nexus上で完結可能だ。

　最後に松浦氏はシステム構成について説明した。標準構成ではクライアントツールをデスクトップにインストールし、シナリオなどはオーティファイのクラウドサーバーに保存される形だが、セキュリティ要件の厳しい企業向けにオンプレミス版を開発中だという。2026年1月に提供予定で、これならセキュリティ上の制約がある環境でも、Autify Nexusの全機能を安心して活用できる。

Autify Nexusシステム構成（オンプレミス版）

　松浦氏は講演を締めくくりとして、「過去にテスト自動化がうまくいかなかった、あるいは手動のテストで非常に時間がかかっているという方々も、Autify Nexusを使うとAIの力を借りながらテストの自動化を進めていけます」と述べ、最適な品質保証を支援する同社の取り組みをアピールした。