テストの自動化率はたった25%──背景にあるQA人材の不足とAI活用の難しさ
オーティファイは、2016年にアメリカ・サンフランシスコで創業したテスト自動化プラットフォーム企業だ。創業者のひとりは日本人（CEO 近澤 良氏）で、開発の多くは日本のオフィスで行われている。2019年に最初のテスト自動化プロダクトをローンチして以来、ソフトウェアテストの自動化サービスを提供してきた。製品は多言語に対応し、日本以外でも幅広く使われている。当初はベンチャー企業中心だったが、近年では大企業での導入も進み、フォーチュン・グローバルに名を連ねる企業でも採用されているという。
松浦氏は、大手Web企業で大規模サービスのインフラを担当後、GitHubでテクニカルサポートエンジニアとして勤務。2019年9月にバックエンドエンジニアとしてオーティファイに入社し、現在はソリューションアーキテクトとして顧客のテスト自動化推進を支援している。
講演の冒頭、松浦氏はIT業界が直面する人材不足の問題を提起した。「IT業界だけではなく、ソフトウェアはほとんどすべての企業に関連するものになっています。あらゆる企業が、このIT人材不足に悩んでいるのではないかと思います」と述べ、日本の就業人口が減少する一方でIT人材の需要が増え続ける現状を指摘した。
ソフトウェア開発においてテストが占める割合は多い。松浦氏は調査結果を基に「全体のコスト・時間の4割はテストに割かれているといわれております」と説明した。アプリケーションの性質によって変動はあるものの、大企業の複雑なシステムほどテストにかける工数は大きくなる傾向がある。
しかし実態として、多くの企業ではテストが手動で行われている。「75%は手動で、自動化しているのはたったの25%だけという情報もあります」と松浦氏は、テストが効率化されていない現状を示した。
手動テストが主流である理由として、テスト専門のスキルを持つ人材が不足している点を挙げた。その場合第三者の検証会社に依頼するケースが多いが、コストがかかりすぎてシステムの更新頻度が上がらない。さらにテストは開発プロセスの最後に行われる性質上、開発の遅延のしわ寄せがQAエンジニアに集中する危険もある。アジャイル開発への移行が進んでも、テスト工程が旧来のやり方のままではリリース頻度を上げられない。
昨今の生成AI普及により、コードに近い部分では生成AIツールの導入が進んでいる。具体的には、詳細設計からコーディング、単体テストまでの工程でAIコーディングツールを利用できる環境が整いつつある。しかし松浦氏は「テストについては、AIコーディングツールが得意とする部分ではない」と指摘し、統合テスト以降の領域でAI活用が立ち遅れている現状を明らかにした。
開発コスト・時間の4割を占めるテストへのAI活用は、効率化に大きく寄与する。松浦氏は「テストへのAI活用や自動化はやらないとついていけないという状況になっていると思います」と語った。
「仕様を基にしたテスト設計」＋「実行可能なシナリオへの変換」で実現するテスト自動化
テスト自動化やAIの活用が必要とされる一方で、それが容易に実現できるわけではない。開発者はソースコードをどう書くかという視点で実装するが、テストシナリオの作成には異なる視点が必要となる。網羅的かつ過剰にならないテストを設計するための視点、アプリケーションがユーザーから見て正しく動作しているかを判断するユーザー視点、そしてプロダクトの特性を深く理解する提供者としての視点が求められる。
「開発者、コードを書く人だけの視点ではテストは作れません」と松浦氏は指摘した。さらに自動化を行うには、人間が手作業で行うのとは異なる、自動化特有のノウハウも必要となり、難易度は上がる。
こうした複合的な難しさを解決するため、オーティファイはAIを品質保証に特化した形で活用できるツール、またそれを使いこなすためのサポートサービスをパッケージとして提供している。その中核となるのがAutify Nexusだ。
Autify Nexusは単なるテスト実行機能だけでなく、複数のAIエージェントを搭載している。テストをデザインするエージェントは仕様書やアプリケーションの振る舞いに関する記述から、それぞれの要件や仕様をどうテストするか自動生成する。テスト自動化エージェントは、自然言語で記述されたテスト内容を実行可能なシナリオに変換。生成されたシナリオは、テスト実行機能によって安定的に実行される。ユーザー数もテスト実行回数も無制限であるため、一度作成したテストを繰り返し実行することで継続的な品質保証が可能になる。
松浦氏は、Autify Nexusのデモンストレーションとして、まずテストシナリオ作成を行った。デスクトップアプリケーションとしてインストールされたAutify Nexusで、テスト対象のWebアプリケーションのURLを入力するとブラウザが立ち上がる。
「ブラウザ上でクリックしたり、文字を入力したりする操作が、1つ1つ記録され、その記録を再生することでテストができます」と松浦氏は説明した。操作の記録だけでなく、画像の見た目、テキストの内容や位置、チェックボックスの状態、ボタンやフォームの有効・無効状態なども検証項目として設定できる。
一通りのシナリオ作成後、保存ボタンを押すだけで即座にテスト実行が可能となり、記録された操作が自動的にかつ高速で再現される。テスト結果は操作箇所がハイライトされたスクリーンショット形式で表示され、PDF出力やスクリーンショットの個別保存にも対応している。
松浦氏は、一切コードを書く必要がなく、エンジニアはもちろん、QAエンジニア、ビジネス側のプロダクトマネージャーなどの人材でも使えるツールだと強調した。
続いてAIによるシナリオ自動生成も披露。デモ用のECサイトにおいて「最も安い商品をクリックして、カートに正しく追加されることを確認する」という自然言語の指示をAIエージェントに与えると、AIが自律的に最安値の商品を判断し、サイズと色を選択してカートに追加するまでの操作を実行した。
この動作について松浦氏は「私が操作しているのではなくて、これは全部AIが操作しています」と説明する。既存の手動テストシナリオをテキストで貼り付けるだけでも自動化できるため、活用の幅は広い。
AIを活用した新しいテスト保守──アプリの更新に合わせたシナリオの修正、自然言語によるテスト内容の記述
テストシナリオの作成と実行だけでは、自動化は完結しない。アプリケーションが更新されれば、テストシナリオもそれに追従して修正する必要がある。この保守作業の負担が、従来のテスト自動化における大きな課題だった。
Autify NexusはこのテストシナリオのメンテナンスにもAIで対応する。デモでは「ログイン」ボタンが「サインイン」という表記に変わったことでテストが失敗するケースが示された。ここでは、失敗したテスト結果画面に表示される「AIで修正」ボタンを押すだけで、AIが失敗原因を調査し、シナリオを自動修正する。
AIはログインボタンがサインインボタンに置き換わったことを自動的に検知し、テストシナリオを修正した。ユーザーは修正されたシナリオを保存して即座にテストを再実行できる。「テストを作って実行するだけではなくて、その後、修正していく部分についても、AIに任せられる」と松浦氏は述べた。
さらに先進的な機能として、「自然言語ステップ」が紹介された。従来の自動化では実行されるテストは毎回同じ固定的なステップの再生だったが、自然言語ステップを使うとテストの内容そのものを自然言語で記述できる。
デモでは、ECサイトへのログイン処理を「以下のユーザー名とパスワードを使ってログインする」という自然言語の指示だけで実行するシナリオが示された。「どこにユーザー名を入れて、どこにパスワードを入れて、どのボタンを押せばいいのかということは一切指示してない」にもかかわらず、AIが自律的に判断して実行する。
このテスト結果を見ると、1つの自然言語ステップがAIによって6つの具体的なステップに分解されて実行されていた。この機能により、複雑なワークフローを曖昧な指示で実行できるだけでなく、画面レイアウトの変更にも柔軟に対応できる。ログインボタンの位置や表記が変わっても、人が操作可能であればAIも適応できるため、テストの成功率が向上する。
松浦氏は、テスト設計の起点となる仕様書の活用についても言及した。「テストケース生成」機能では、仕様書をアップロードするだけで、それに基づいたテストケースを自動生成できる。テキストとスクリーンショットが混在したPDFファイルなどのドキュメントにも対応しており、生成されたテストケースには、テスト対象の機能、事前条件、テストステップ、期待される結果が含まれる。
例えばサイズがS、M、Lの3パターンある場合、それぞれに対応したテストケースが自動的に生成される。そのまま手動テストに使うことも、Autify NexusのAIエージェントに渡してテストシナリオを自動生成することもできる。仕様書からテストケース生成、シナリオ自動化、実行、結果確認というサイクル全体をAutify Nexus上で完結可能だ。
最後に松浦氏はシステム構成について説明した。標準構成ではクライアントツールをデスクトップにインストールし、シナリオなどはオーティファイのクラウドサーバーに保存される形だが、セキュリティ要件の厳しい企業向けにオンプレミス版を開発中だという。2026年1月に提供予定で、これならセキュリティ上の制約がある環境でも、Autify Nexusの全機能を安心して活用できる。
松浦氏は講演を締めくくりとして、「過去にテスト自動化がうまくいかなかった、あるいは手動のテストで非常に時間がかかっているという方々も、Autify Nexusを使うとAIの力を借りながらテストの自動化を進めていけます」と述べ、最適な品質保証を支援する同社の取り組みをアピールした。
