Excelが持つテスト管理の不便さを、テスト管理ツール導入で解決
ソフトウェア開発において、品質を担保するために欠かせないテスト。テストケースやテスト結果の管理について、不便さを感じてはいるものの、日々の業務に追われて改善に手が回らないという人も多いのではないか。
一般的にテストケースやテスト結果を管理するツールとして用いられているのが、Excelを代表とする表計算ソフトである。オフィスソフトの中でも最も身近でよく使われているソフトといっても過言ではない。なぜテストケースや結果の管理に使っているのか改めて考えてみると、「自由度が高い」「同一や連続したデータのコピーや作成が楽」といった手軽さがExcelを利用する一番の理由だ。果たしてExcelはテストの管理に適しているのだろうか。
Excelを使ってテスト管理をしていると、さまざまな不便な点がある。以下はその一例だ。
- アプリケーションのバージョンごとにExcelファイルをコピーしており管理が煩雑になる
- 異なるアプリケーションでも同じ内容のテストを実施する場合はテストケースをコピーして流用するため手間がかかり、人手によるミスが発生する
- テストケースの補足説明に画面ショットを使いたいがExcelに貼りつけると見づらい
- 過去の結果を見たいが、どこにあるかわからない
- テスト中にテストケースを修正したが、他のExcelファイルに記載されたテストケースとのマージに時間がかかる
- テスト結果の集計は手動で行う必要があり時間がかかる
このようなExcelが持つ不便さを解消するのが、テスト管理ツールである。テスト管理ツールの対象となるのは単体テストや結合テスト、システムテスト、受け入れテストである。管理する情報は、テストケースやテスト結果の記録に加えて、テストの成果物や不具合情報、進捗情報も含まれる。
テスト管理ツール「TestRail」の特長
世の中に数あるテスト管理ツールの中でも特におすすめなのが、テクマトリックスが提供する「TestRail」である。
TestRailは独Gurock Software社が開発したもので、すでに世界中で1万2000社に導入されている。2019年にはITツールのレビューサイトのソフトウェアテスティングカテゴリーで、LEADERを獲得するなど、この分野を代表するツールだ。
TestRailの特長は大きく6つ。
1. Webベースの直感的なUI
テストケースの確認や結果の登録を視覚的に簡単に実施
2. テストの進捗をリアルタイムで把握
テストの進捗や完了予定日などの最新情報をいつでも確認
3. テストケース, 計画, 実行の管理
実施中のテスト群, 手順, 環境, 担当者などの情報をまとめて管理
4. テスト結果のレポート出力
テスト結果の分析や証跡に使えるさまざまなレポートを出力
5. 課題管理ツールとの連携
RedmineやJIRAと連携し、テスト画面から課題の閲覧や起票を実施
6. UIテストなどテスト自動化ツールとの連携
テスト自動化ツールのテスト結果を自動的に登録（テスト自動化のためにAPIを提供）
TestRailの最大の強みは、ユーザビリティに優れていること。それを実現しているのがテストケースの階層化による管理と、テストケースと結果を分離して管理していることである。テスト管理ツールの中には要件管理や不具合管理が一体化したものも存在する中で、TestRailはあくまで連携することで、テストにまつわる情報を一元管理する。例えば、RedmineやJIRAなどの既存のツールをリプレースする必要がないのもメリットだ。
TestRailの情報はこちら
4つのテストフェーズ
では、Excelでテストを管理する不便さをTestRailならどのように解消してくれるのか。例としてテストフェーズを「テストの準備」「テストの実施」「テスト結果の集計や報告」「再テストの実施」の4つに分けて紹介しよう。
1. テストの準備
- 実施する内容：テストケースの作成、テスト対象の選定、テストのアサインを行う
- 成果物： テストケース（対象の選定、アサイン済のもの）
2. テストの実施
- 実施する内容： テストを実施した結果の記録、発生した不具合の登録を行う
- 成果物： テスト結果、テストのエビデンス
3. テスト結果の集計や報告
- 実施する内容： テスト進捗状況の確認、テスト結果の集計/報告を行う
- 成果物：テストの進捗レポート、テストの結果レポート
4. 再テストの実施
- 実施する内容： ソフトウェアの変更などを受け実施済のテストを再実施する
- 成果物： テスト結果、テストのエビデンス
テスト準備フェーズでの不便な点
まずは「テストの準備」におけるExcelでの不便な点についてだ。Excelではテストケースのファイルに結果を入力するための列を作り、テストを実施する際に、結果を入力していくことが一般的だ。
Excelの不便な点：煩雑なテストケース管理
1回のみのテストなら問題ないが、別の時期に同じテストケースでテストを実施する場合は、別のファイルとしてコピーし、結果だけを入力しなおすという方法を採ることが多い。
その際、テストの手順に不備があったのでテストケースの内容が変更されたとしよう。同時並行で複数のテストを実施していると、どのテストケースでテストすればいいのかわかりづらくなる上、テストケースをマージする必要が出てくるのだ。「テスト担当者もテスト管理者も不便に感じているはず」と中田氏は語る。
Excelの不便な点：手作業でのテストケースの選定とアサイン
また、テストを準備するにあたり、フィルター機能を使ってテスト対象の絞り込みを行うことも多い。「Excelでは複数列の組み合わせで対象を絞り込むことは難しい。また、担当者をアサインする際に名前を手入力するといった作業も発生する」と中田氏。
TestRailを用いたテストの準備
では、TestRailを導入すると「テストの準備」はどうなるのか。TestRailにはテストケースとは別に結果を登録するテストランという仕組みが存在する。テストランを利用することで、プロジェクトのマスターとなるテストケースから、テスト実施時に必要なケースだけを取り出してテスト結果を記録できるため、テスト対象が明確になる。また、複数の条件（例：優先度、機能、ステータスなど）を組み合わせて、実施するテストケースをピックアップすることも容易だ。
さらに、テストランに存在するテストとマスターとなるテストケースは内部的に関連情報を保持しているため、実施中のテストからテストケースを修正してもマスターのテストケースに修正が反映される。マージを行う必要がないのが特長だ。
加えてテストランでは、テストを選択するだけで簡単にテスト担当者のアサインが完了する。また、テストラン自体をテスト担当者専用のものとして丸ごとアサインすることも可能だ。
テストの実施フェーズの不便な点
「テストの実施」をExcelで行っている場合は、主にテスト担当者が不便に思うことがたくさんあるという。
Excelの不便な点：エビデンスの保存
例えばテスト結果を記録する際に、エビデンスとして画面ショットを保存しておきたいことがある。その場合、Excelのテスト結果セルに直接貼り付ける、新たにテスト用のシートを作成して貼り付ける、画像ファイルにして別のフォルダに保存するなどの方法が考えられる。しかし、テスト結果のファイルに直接貼り付ける方法は、ファイル全体の視認性が悪くなるという問題が生じる。また、別のシートや別のフォルダに保存するとなると、いちいちファイルを開く手間が発生する。
Excelの不便な点：過去に実施したテスト結果の確認
テストが失敗した場合、過去バージョンの結果を参照して比較することがよく行われる。Excelでは実施のタイミングごとにファイルを作成して管理することが多いので、過去の結果と比較する際は、ファイルを個別に開いて比較しなければならない。中田氏いわく「単純に見た目が似ており混乱しやすく、セル同士の比較も見づらい」という。またテスト時に不具合を発見した場合は、JIRAやRedmineなどの不具合ツールに登録することがある。どのテストで不具合が発生したかを記録として残す場合、そのツールの管理番号をExcelに手動で転記する必要があり、抜け漏れや誤りが発生することもある。
TestRailを用いたテストの実施
では、TestRailを導入すると「テストの実施」はどうなるのか。画面ショットやファイルなどのエビデンスをドラッグ＆ドロップなど簡単な操作で、直接テスト結果に添付できる。これにより、視認性が損なわれることを回避でき、かつ、エビデンスを保存する手間やファイルをいちいち探す手間がなくなる。
また、過去のテスト結果のステータスや詳細が容易に確認できるため、Excelのようにわざわざ過去のテスト結果ファイルを探したり、個別にファイルを開いて比較したりする必要はない。
TestRailはJiraやRedmineといった不具合管理ツールと連携しているので、TestRail上からJiraやRedmineを開くことなく直接、不具合登録ができるようになる。「連携された不具合番号がリンクとしてテスト結果に登録されるので、失敗したテスト結果からすぐに不具合情報の詳細を参照できるようになる」と中田氏は言う。
TestRailの情報はこちら
テスト結果のまとめ、再テストフェーズの不便な点
テスト結果の集計や報告を行うとき、「Excelでは主に管理者の方にとっての不便な点がある」と中田氏は指摘する。
Excelの不便な点：テストの集計や進捗状況の確認
例えば、複数人のテスト担当者が入力したテスト結果などの情報をまとめて集計しなければならない。また、テストの進捗状況を把握したいと思っても、Excelは見ただけで現在の進捗状況がすぐには分からないため、入力済のセルでフィルターするなどの作業が必要となり「リアルタイムの状況を把握するのが難しい」と中田氏は話す。そのためテストのリカバリーが遅れ、プロジェクト全体の遅れにつながることも珍しくないという。
Excelの不便な点：再テストの実施
例えば対象のソフトウェアに変更が加えられ、再テストを実施する必要があるとする。Excelでは、再テスト用のファイルを別途準備する必要があることに加え、直近のテスト結果がすぐ把握できるようなデータを残しておくなどの工夫が必要となる。
TestRailを用いたテスト結果のまとめ、再テスト
TestRailであれば、レポート作成のテンプレートが複数用意されており、ステータスごとの件数や不具合件数などを自分で集計することなく、簡単に作成できる。また、実施済／未実施のテスト件数やステータスの割合を示す円グラフがテスト一覧と同じ画面に表示されているため、工夫しなくてもリアルタイムに進捗状況を把握することができる。
テストの再実施についてもTestRailであれば、再実施ボタン1つで、すぐに同じ条件のテストランを作成することが可能だ。前回、失敗したものだけを選択して再テストすることも容易だ。さらに過去のテスト結果を含めたレポートを作成し、前回と今回のテスト結果を簡単に比較することもできる。
最後に
ここまで見てきたように、ソフトウェアテストを実施する様々な場面で、Excelでは当たり前となっていた手間がかかる作業も、実はTestRailを用いることで効率化できる。TestRailはユーザビリティが高く、誰にでも直感的に使いやすいツールだ。「使えば良さが分かるのでまずは試してほしい」と小西氏は語る。
| テスト活動 | Excel | TestRail |
|---|---|---|
| テストの準備 |
テストケースと結果記録用のファイルを分けると、それぞれが関連のない独立したファイルとなる。
|
テストケースとテストラン（結果記録）画面が分かれているが内部的に関連情報を持っている。
|
| 列にフィルターをかけてテスト対象を絞り込む。 |
条件に基づいてテストケースをピックアップしてテストランの作成ができる。
|
|
| テストの実施 | 画面ショットやファイルなどのエビデンスは管理に工夫が必要。 | ドラッグ&ドロップで添付や画面ショットの文中埋め込みが可能。 |
| 過去の結果を参照する場合は、ファイルを個別に開く。 | テストごとに過去の結果がすぐに確認できる。 | |
|
不具合を発見すると登録が必要。手動で管理番号などを記録しておく。
|
課題管理ツールと連携してその場で不具合登録ができる。 | |
|
テスト中にテストケースを修正した場合は手動でマージが必要になる。
|
テスト中にテストケースを修正するとリアルタイムに実施中のテストにも修正が反映される。※過去にクローズ済のテストには反映されない。 | |
|
進捗状況を把握するにはフィルターなどを使って件数を集計する。
|
実施／未実施の件数は何もしなくもて表示される。OK／NGの件数や割合もグラフで表示される。
|
|
|
テスト結果の まとめ |
情報を集計するなどして自分でまとめる。 |
レポート作成用のテンプレートがあり、必要な情報を取捨選択して作成が可能。
|
| 再テスト | 再テスト用のファイルを用意する。 |
ボタン一つですぐに再テスト用のテストランを作成でき、前回の結果ステータスごとの取捨選択が可能。
|
|
直近の結果との差異がすぐに把握できるような項目を作成するなどの工夫が必要。
|
TestRailを導入したお客様からは、「テストケースをいつ、誰が、どのように変更したかということもワンクリックでわかるので便利」「操作権限をつけることもできたので、誤ってファイルを削除されることもなくなった」「Redmineのチケット番号とテストケースを手動で関連付けすることもなくなり、作業が効率化された」「エビデンスを添付できるので、かなり作業が省力された」など、「導入効果を実感している声がたくさん届いている」と小西氏は言う。
TestRailのクラウド版が正式リリース
テクマトリックスではTestRailは2019年6月よりオンプレミス版を提供してきた。TestRailを導入したいと思っていても、サーバの管理をするのは手間がかかるので、二の足を踏んでいた方もいるだろう。そんな方に朗報がある。テクマトリックスではTestRailのクラウド版を4月1日より正式リリースする予定だ。それに先立ち、2月1日よりプレオープンとしてクラウド版の提供が開始されている。
「2021年3月31日まで、無償で利用できる評価版を提供しているので、ぜひこの機会に触ってほしいです。また無償のハンズオンセミナーも開催しています。ぜひ体験して、その良さを実感してください」（小西氏）
Excelでのテスト管理に限界を感じている方、もっと効率化したいと考えている方は、TestRailを試してみてはいかがだろう。
