Testmo 도입하기

Seunghoon Yoo·2024년 3월 31일

개요

  • 기존에 우리팀은 테스트 관리 도구로 Xray 라는 도구를 사용해 왔었다.
  • Jira 플러그인이라 관리가 용이할 줄 알았는데 큰 착각이었음..
  • 속도가 빠르고, 자동화 테스트 통합 및 태스트 케이스 관리가 유리한 다른 도구를 도입하기로 결정.

다양한 도구 리서치

  • 처음에는 Testrail 이라는 대중적인 도구를 도입하려 했다. 그런데 가격이 Xray 만큼 만만치 않았다.
  • 가격 이슈로 이후에도 다양한 도구를 탐색했다. qTest, Kualitee, Testlink 등등..
  • 담당 AE와 미팅까지 진행하면서 우리의 요구사항을 만족하는 도구 찾기에 여념이 없었다. 😂
  • 그러면서 Testmo 라는 도구를 찾게 되었고, 우리의 요구사항을 충족시키는 것 같아 바로 Trial version 을 사용해 보았다. 요구사항 체크리스트는 아래와 같았다.
요구 사항가능 여부
UI 자동화 통합이 가능한가?
API 자동화 통합이 가능한가?
CI 통합이 가능한가?
BDD 스텝을 지원하는가?
필드에 JSON 포맷을 지원하는가?
Jira 통합이 가능한가?
커스텀 필드 추가가 가능한가?
대시보드를 제공하는가?
TC Import & Export 기능을 제공하는가?
속도가 빠른가?
Test Respository 관리가 용이한가?
비용이 저렴한가?

요구 사항 충족!

  • Xray 보다 저렴한데, Xray 보다 관리가 용이한 이 도구를 도입하지 않을 이유가 없었다.
  • 자동화 통합은 기존 Xray API 를 이용하여 관리하였으나, Testmo에서는 CLI 를 제공하여 훨씬 간편하게 자동화 통합이 가능했다.
    - 다만 XML 결과 통합만을 지원하는 것 같았고, 다행히 우리가 사용하는 behave와 newman에서는 junit으로 결과를 추출하는 기능을 지원했다. 단점을 커버했던 것이다.
  • Jenkins CI와도 연동이 가능했고, Jenkins 를 통해 자동화 실행 후 Testmo 에 결과를 연동하는 방법도 가능했다.
  • gherkin 시나리오나 SQL, Response Body 작성을 위한 JSON 포맷 형식도 모두 작성 가능했다. 마크다운 코드블럭을 지원하기 때문이다.
  • 물론 Jira와의 통합도 가능하다. 이슈 트래킹 기능도 수월!
  • 커스텀 필드 추가도 가능해서 각 템플릿으로 관리할 수 있다. (매뉴얼은 매뉴얼대로, 자동화는 자동화대로, API 는 API 대로...)
  • 깔끔한 대시보드를 제공하기 때문에 Test Coverage 분석이 용이했다.
  • TC Import & Export 기능 당연히 지원했다. 근데 도구 자체의 속도가 매우 빨라서, 케이스를 직접 추가하는 것에 무리가 없으므로 아직까지는 사용하지 않던 기능이다.
  • Repository 는 폴더 계층 형식으로만 관리할 수 있지만, 속도가 빨라서 이 방식이 유용하다고 느낀다.

마무리

  • Cloud 서비스만 지원하는 것이 단점이었는데, Cloud 치고는 매우 빨랐기 때문에 사실 단점 자체라고도 생각이 들지 않는다.
  • 처음 머리를 쥐어 짜내며 도입해 본 테스트 도구라서 시행착오가 많을 줄 알았는데, 생각보다 수월했고 아직까지는 잘 사용하고 있다.
  • Testmo 관리 방법에 대한 한국의 포스트가 많지 않아서, 리서치하기엔 어렵지만 Testmo 고객지원팀의 도움을 많이 받아보는 수밖에..
profile
QA Engineer

0개의 댓글