테스트 관리 도구 - Xray

Seunghoon Yoo·2024년 3월 31일

개요

  • Jira에 내장되어 사용할 수 있는 플러그인으로, 매뉴얼 테스트 케이스 및 자동화 테스트 케이스를 관리할 수 있음.
  • Jira에 포함된 플러그인이라 유관 부서 담당자들과의 공유가 유용하다는 장점이 있음.

세팅

  • 먼저 Jira 에서 Xray를 결제하고 Xray Setting을 마치면 Testing Board 라는 페이지가 생기게 되고, 이를 통해 Test Respository 를 관리할 수 있게 된다.

이슈 유형

  • Jira 에는 이슈 유형이 존재한다. Xray 를 추가하면 마찬가지로 Xray 유형을 관리할 수 있게 된다.
  • Xray 유형에는 크게 아래 5가지가 존재한다.
    - Test Plan : 테스트 수행 계획을 작성한 티켓이 될 수 있다.
    - Test Set : Test Suite와 비슷한 개념으로, Test를 모아둔 그룹 티켓이라 볼 수 있다.
    - Test : Test Case를 의미하고, 단일 테스트 스텝이나 여러 테스트 스텝을 통한 시나리오 및 기대, 실제 결과를 명시해 둔 티켓이라 볼 수 있다.
    - Test Execution : 실제 테스트 수행을 위한 티켓이다. PASSED, FAILED 등 결과를 찍어낼 수 있다. Xray API 를 연동하여 자동화 테스트 결과를 찍어낼 수도 있다.
    - Test Run : 실제 테스트 수행에 대한 결과를 기록한 티켓이 될 수 있다. (실제로 사용해 본 적은 없음...)

Xray flow

  • Test Sets 생성
  • Test 생성하여 Test Sets 에 추가
  • Test Plan 생성
  • Test Plan 에 Test Sets 추가
  • Test Plan에서 Test Execution 파생
  • Test Execution 에서 테스트 수행, 결과 기입

사용 후기

  • Test Repository 를 이용해 다양한 테스트 케이스를 티켓 형식으로 관리할 수 있었다.
  • 근데 이해가 안가는 건, 테스트 케이스를 Jira 티켓으로 관리하느라 Jira 용량이 점점 커지는 것을 느꼈다.
  • Folder 계층 형식과 Test Sets 형식으로 관리할 수 있었는데, 우리 팀은 Test Sets 형식으로 관리하고자 했다.
  • Cucumber framework 연동을 지원하여 자동화 테스트 스텝 작성이나 연동에는 꽤나 유리했던 것 같다.
  • 근데 너무 느렸다.. 테스트 케이스 특성 상 방대한 데이터를 다뤄야 하는데, 하나하나 작성할 때마다 상당한 로딩이 있었다.
profile
QA Engineer

0개의 댓글