AIがテストシナリオを作るのはなぜ難しいのか？──オーティファイが挑む品質保証の現在地

【session2】AIで広がる挑戦を、品質で支える──Autify Nexusによる“最適な保証”の実現

「仕様を基にしたテスト設計」＋「実行可能なシナリオへの変換」で実現するテスト自動化

　テスト自動化やAIの活用が必要とされる一方で、それが容易に実現できるわけではない。開発者はソースコードをどう書くかという視点で実装するが、テストシナリオの作成には異なる視点が必要となる。網羅的かつ過剰にならないテストを設計するための視点、アプリケーションがユーザーから見て正しく動作しているかを判断するユーザー視点、そしてプロダクトの特性を深く理解する提供者としての視点が求められる。

　「開発者、コードを書く人だけの視点ではテストは作れません」と松浦氏は指摘した。さらに自動化を行うには、人間が手作業で行うのとは異なる、自動化特有のノウハウも必要となり、難易度は上がる。

テストシナリオを作るのは、なぜ難しいのか？

　こうした複合的な難しさを解決するため、オーティファイはAIを品質保証に特化した形で活用できるツール、またそれを使いこなすためのサポートサービスをパッケージとして提供している。その中核となるのがAutify Nexusだ。

　Autify Nexusは単なるテスト実行機能だけでなく、複数のAIエージェントを搭載している。テストをデザインするエージェントは仕様書やアプリケーションの振る舞いに関する記述から、それぞれの要件や仕様をどうテストするか自動生成する。テスト自動化エージェントは、自然言語で記述されたテスト内容を実行可能なシナリオに変換。生成されたシナリオは、テスト実行機能によって安定的に実行される。ユーザー数もテスト実行回数も無制限であるため、一度作成したテストを繰り返し実行することで継続的な品質保証が可能になる。

Autify Nexusの特徴

　松浦氏は、Autify Nexusのデモンストレーションとして、まずテストシナリオ作成を行った。デスクトップアプリケーションとしてインストールされたAutify Nexusで、テスト対象のWebアプリケーションのURLを入力するとブラウザが立ち上がる。

　「ブラウザ上でクリックしたり、文字を入力したりする操作が、1つ1つ記録され、その記録を再生することでテストができます」と松浦氏は説明した。操作の記録だけでなく、画像の見た目、テキストの内容や位置、チェックボックスの状態、ボタンやフォームの有効・無効状態なども検証項目として設定できる。

　一通りのシナリオ作成後、保存ボタンを押すだけで即座にテスト実行が可能となり、記録された操作が自動的にかつ高速で再現される。テスト結果は操作箇所がハイライトされたスクリーンショット形式で表示され、PDF出力やスクリーンショットの個別保存にも対応している。

　松浦氏は、一切コードを書く必要がなく、エンジニアはもちろん、QAエンジニア、ビジネス側のプロダクトマネージャーなどの人材でも使えるツールだと強調した。

　続いてAIによるシナリオ自動生成も披露。デモ用のECサイトにおいて「最も安い商品をクリックして、カートに正しく追加されることを確認する」という自然言語の指示をAIエージェントに与えると、AIが自律的に最安値の商品を判断し、サイズと色を選択してカートに追加するまでの操作を実行した。

　この動作について松浦氏は「私が操作しているのではなくて、これは全部AIが操作しています」と説明する。既存の手動テストシナリオをテキストで貼り付けるだけでも自動化できるため、活用の幅は広い。