4つのテストフェーズ
では、Excelでテストを管理する不便さをTestRailならどのように解消してくれるのか。例としてテストフェーズを「テストの準備」「テストの実施」「テスト結果の集計や報告」「再テストの実施」の4つに分けて紹介しよう。
1. テストの準備
- 実施する内容：テストケースの作成、テスト対象の選定、テストのアサインを行う
- 成果物： テストケース（対象の選定、アサイン済のもの）
2. テストの実施
- 実施する内容： テストを実施した結果の記録、発生した不具合の登録を行う
- 成果物： テスト結果、テストのエビデンス
3. テスト結果の集計や報告
- 実施する内容： テスト進捗状況の確認、テスト結果の集計/報告を行う
- 成果物：テストの進捗レポート、テストの結果レポート
4. 再テストの実施
- 実施する内容： ソフトウェアの変更などを受け実施済のテストを再実施する
- 成果物： テスト結果、テストのエビデンス
テスト準備フェーズでの不便な点
まずは「テストの準備」におけるExcelでの不便な点についてだ。Excelではテストケースのファイルに結果を入力するための列を作り、テストを実施する際に、結果を入力していくことが一般的だ。
Excelの不便な点：煩雑なテストケース管理
1回のみのテストなら問題ないが、別の時期に同じテストケースでテストを実施する場合は、別のファイルとしてコピーし、結果だけを入力しなおすという方法を採ることが多い。
その際、テストの手順に不備があったのでテストケースの内容が変更されたとしよう。同時並行で複数のテストを実施していると、どのテストケースでテストすればいいのかわかりづらくなる上、テストケースをマージする必要が出てくるのだ。「テスト担当者もテスト管理者も不便に感じているはず」と中田氏は語る。
Excelの不便な点：手作業でのテストケースの選定とアサイン
また、テストを準備するにあたり、フィルター機能を使ってテスト対象の絞り込みを行うことも多い。「Excelでは複数列の組み合わせで対象を絞り込むことは難しい。また、担当者をアサインする際に名前を手入力するといった作業も発生する」と中田氏。
TestRailを用いたテストの準備
では、TestRailを導入すると「テストの準備」はどうなるのか。TestRailにはテストケースとは別に結果を登録するテストランという仕組みが存在する。テストランを利用することで、プロジェクトのマスターとなるテストケースから、テスト実施時に必要なケースだけを取り出してテスト結果を記録できるため、テスト対象が明確になる。また、複数の条件（例：優先度、機能、ステータスなど）を組み合わせて、実施するテストケースをピックアップすることも容易だ。
さらに、テストランに存在するテストとマスターとなるテストケースは内部的に関連情報を保持しているため、実施中のテストからテストケースを修正してもマスターのテストケースに修正が反映される。マージを行う必要がないのが特長だ。
加えてテストランでは、テストを選択するだけで簡単にテスト担当者のアサインが完了する。また、テストラン自体をテスト担当者専用のものとして丸ごとアサインすることも可能だ。
テストの実施フェーズの不便な点
「テストの実施」をExcelで行っている場合は、主にテスト担当者が不便に思うことがたくさんあるという。
Excelの不便な点：エビデンスの保存
例えばテスト結果を記録する際に、エビデンスとして画面ショットを保存しておきたいことがある。その場合、Excelのテスト結果セルに直接貼り付ける、新たにテスト用のシートを作成して貼り付ける、画像ファイルにして別のフォルダに保存するなどの方法が考えられる。しかし、テスト結果のファイルに直接貼り付ける方法は、ファイル全体の視認性が悪くなるという問題が生じる。また、別のシートや別のフォルダに保存するとなると、いちいちファイルを開く手間が発生する。
Excelの不便な点：過去に実施したテスト結果の確認
テストが失敗した場合、過去バージョンの結果を参照して比較することがよく行われる。Excelでは実施のタイミングごとにファイルを作成して管理することが多いので、過去の結果と比較する際は、ファイルを個別に開いて比較しなければならない。中田氏いわく「単純に見た目が似ており混乱しやすく、セル同士の比較も見づらい」という。またテスト時に不具合を発見した場合は、JIRAやRedmineなどの不具合ツールに登録することがある。どのテストで不具合が発生したかを記録として残す場合、そのツールの管理番号をExcelに手動で転記する必要があり、抜け漏れや誤りが発生することもある。
TestRailを用いたテストの実施
では、TestRailを導入すると「テストの実施」はどうなるのか。画面ショットやファイルなどのエビデンスをドラッグ＆ドロップなど簡単な操作で、直接テスト結果に添付できる。これにより、視認性が損なわれることを回避でき、かつ、エビデンスを保存する手間やファイルをいちいち探す手間がなくなる。
また、過去のテスト結果のステータスや詳細が容易に確認できるため、Excelのようにわざわざ過去のテスト結果ファイルを探したり、個別にファイルを開いて比較したりする必要はない。
TestRailはJiraやRedmineといった不具合管理ツールと連携しているので、TestRail上からJiraやRedmineを開くことなく直接、不具合登録ができるようになる。「連携された不具合番号がリンクとしてテスト結果に登録されるので、失敗したテスト結果からすぐに不具合情報の詳細を参照できるようになる」と中田氏は言う。
