이번에는 TestRun과 TestPlan에 대해 알아보겠습니다.
TestRun
TestRun이란 실제 테스트를 실행하는 것을 말합니다.
좀더 구체적으로는 실행가능한 상태의 혹은 실행 중인 Testcase, Testsuite를 뜻합니다.
To run a test and enter test results for the cases you added, you start a test run for a particular test suite. While a test suite is just like a plan that specifies how an application is tested, a test run is an actual test you are conducting.
https://www.gurock.com/testrail/docs/user-guide/getting-started/walkthrough#Testrunsandtests
이것은 좀 더 다르게 말하자면, TestRun이란 Testcase 혹은 Testsuite의 Instance(Object) 를 의미합니다.
모든 테스트가 완료되었다면, TestRun을 Close할 수 있습니다. Close해놓지 않는다면, 추후 Testsuite에 신규 testcase를 추가했을 때 동기화가 발생하여 test result가 바뀌게 됩니다.
Close를 하게되면 결과가 바뀌지도 않으며, 추가 수정을 할 수도 없게됩니다. (아카이브 처리)
Test result
Testrail에서는 result로 기록할 수 있는 status에 대해 몇가지를 기본으로 제공하고 있습니다.
- Untested : 기본적인 상태이며, 아직 테스트되지 않은 상태를 의미합니다. 한 번 status가 바뀌면 다시 설정할 수 없는 상태입니다.
- Passed : 테스트케이스가 통과했을 때의 상태입니다.
- Failed : 테스트케이스가 상정했던 결과가 아닐 때(실패했을 때)의 결과입니다.
- Retest : 다시 테스트가 필요한 케이스에 대해 마킹할 때 사용합니다. 혹은 테스터가 failed처리를 해놓는다면, dev가 수정 후 retest로 바꿀 수도 있을 것입니다.
- Blocked : 어떤 특정한 이유로 인하여 실행할 수 없는 케이스에 대해 사용합니다.
이 외에도 각 조직마다 Custom status를 만들어서 사용할 수도 있습니다.
TestPlan
TestRun은 보통 Testcase 혹은 Testsuite와 1:1의 관계입니다. 그러나, 프로젝트를 진행하다보면 여러 testcase, testsuite를 실행해야할 경우가 있습니다. 아니면 같은 testcase, testsuite를, 각각의 다른 환경에서 반복적으로 실행해야할 경우가 있습니다.
이럴때 사용하는 것이 TestPlan입니다.
1개의 프로젝트에서 여러 테스트케이스들의 구성과 관리할 때에 사용합니다. 예를 들어, 다른 OS나 Web브라우저 등, 프로젝트 테스트에 필요한 많ㅇ느 환경요소를 TestPlan 으로 묶어서 관리할 수 있습니다.
environment
앞서 말씀드렸듯, 동일한 테스트케이스를 다른 환경에서 여러번 실행해야하는 경우가 있습니다.
여기서 이 환경(environment)란, 보통은 모바일 기종, OS, Browser의 종류가 될 수 있습니다.
예를 들어 여러 단말에서 동일한 테스트를 진행해야하는 경우라면, A라는 테스트케이스에 대해 iPhone8, iPhoneX 등에서 동일하게 실행해야하는 것입니다.
기존에는 Excel에서스크린샷과 같이 진행하며, Pass/Fail을 기록하였습니다만 Testrail에서는 이것을 간편하게 할 수 있습니다.
TestPlan과 Testsuites의 관계
그림으로 간단하게 나타낸다면, 위 그림이 됩니다.
Testsuite는 어떠한 하나의 Testrun의 단위가 될 수 있습니다. Testrun은 다시 여러개가 모여 Testplan을 작성할 수 있습니다.
추후 소개드릴 Milestone에는 여러개의 Run혹은 Plan이 포함될 수 있습니다.
Project는 이 모든 것을 관리하는 하나의 organization의 개념입니다.
Ref
