개요
- 기존에 우리팀은 테스트 관리 도구로
Xray라는 도구를 사용해 왔었다. - Jira 플러그인이라 관리가 용이할 줄 알았는데 큰 착각이었음..
- 속도가 빠르고, 자동화 테스트 통합 및 태스트 케이스 관리가 유리한 다른 도구를 도입하기로 결정.
다양한 도구 리서치
- 처음에는
Testrail이라는 대중적인 도구를 도입하려 했다. 그런데 가격이 Xray 만큼 만만치 않았다. - 가격 이슈로 이후에도 다양한 도구를 탐색했다. qTest, Kualitee, Testlink 등등..
- 담당 AE와 미팅까지 진행하면서 우리의 요구사항을 만족하는 도구 찾기에 여념이 없었다. 😂
- 그러면서 Testmo 라는 도구를 찾게 되었고, 우리의 요구사항을 충족시키는 것 같아 바로 Trial version 을 사용해 보았다. 요구사항 체크리스트는 아래와 같았다.
| 요구 사항 | 가능 여부 |
|---|---|
| UI 자동화 통합이 가능한가? | ✅ |
| API 자동화 통합이 가능한가? | ✅ |
| CI 통합이 가능한가? | ✅ |
| BDD 스텝을 지원하는가? | ✅ |
| 필드에 JSON 포맷을 지원하는가? | ✅ |
| Jira 통합이 가능한가? | ✅ |
| 커스텀 필드 추가가 가능한가? | ✅ |
| 대시보드를 제공하는가? | ✅ |
| TC Import & Export 기능을 제공하는가? | ✅ |
| 속도가 빠른가? | ✅ |
| Test Respository 관리가 용이한가? | ✅ |
| 비용이 저렴한가? | ✅ |
요구 사항 충족!
- Xray 보다 저렴한데, Xray 보다 관리가 용이한 이 도구를 도입하지 않을 이유가 없었다.
- 자동화 통합은 기존 Xray API 를 이용하여 관리하였으나, Testmo에서는 CLI 를 제공하여 훨씬 간편하게 자동화 통합이 가능했다.
- 다만 XML 결과 통합만을 지원하는 것 같았고, 다행히 우리가 사용하는 behave와 newman에서는 junit으로 결과를 추출하는 기능을 지원했다. 단점을 커버했던 것이다. - Jenkins CI와도 연동이 가능했고, Jenkins 를 통해 자동화 실행 후 Testmo 에 결과를 연동하는 방법도 가능했다.
- gherkin 시나리오나 SQL, Response Body 작성을 위한 JSON 포맷 형식도 모두 작성 가능했다. 마크다운 코드블럭을 지원하기 때문이다.
- 물론 Jira와의 통합도 가능하다. 이슈 트래킹 기능도 수월!
- 커스텀 필드 추가도 가능해서 각 템플릿으로 관리할 수 있다. (매뉴얼은 매뉴얼대로, 자동화는 자동화대로, API 는 API 대로...)
- 깔끔한 대시보드를 제공하기 때문에 Test Coverage 분석이 용이했다.
- TC Import & Export 기능 당연히 지원했다. 근데 도구 자체의 속도가 매우 빨라서, 케이스를 직접 추가하는 것에 무리가 없으므로 아직까지는 사용하지 않던 기능이다.
- Repository 는 폴더 계층 형식으로만 관리할 수 있지만, 속도가 빨라서 이 방식이 유용하다고 느낀다.
마무리
- Cloud 서비스만 지원하는 것이 단점이었는데, Cloud 치고는 매우 빨랐기 때문에 사실 단점 자체라고도 생각이 들지 않는다.
- 처음 머리를 쥐어 짜내며 도입해 본 테스트 도구라서 시행착오가 많을 줄 알았는데, 생각보다 수월했고 아직까지는 잘 사용하고 있다.
- Testmo 관리 방법에 대한 한국의 포스트가 많지 않아서, 리서치하기엔 어렵지만 Testmo 고객지원팀의 도움을 많이 받아보는 수밖에..
QA Engineer