Day1 에 이어서 2023 QA Korea Conference - Day 2 에 참여한 후기입니다
롯데 ON Test Journey : 테스트 맵 활용기
롯데 온의 업무 진행 방식과 테스트 맵 활용 방법에 대한 발표였습니다.
▶︎ 업무 방식
주 단위로 배포 진행 + 프로젝트 + 자동화로 업무 진행
▶︎ 테스트 맵
테스트 맵이란 서비스를 마인드 맵처럼 시각적으로 표현한 도구입니다. > 롯데온에서는 마인드맵으로 표현 ( 노드 별 색상을 다르게 하여 더 편리하게! )
요구사항 확인과 테스트 설계 단계에서 주로 사용하신다고 합니다.
- 테스트 매트릭스 / 영향범위 파악 / Ad-hoc 에 활용
- 장점 : 테스트 설계 시간 감소 / 커버리지 확보 / 데이터 검증 용이 / 손 쉬운 유지보수 / 누구든 설계 가능
- 기획자나 개발자 등 이해관계자들에게도 개발 영향 파악, 연관 기능 파악 등 도움이 됨
- 노드의 이동 식의 변경만 되어서 유지보수에 드는 시간이 적음
테스트 맵 사용 시 디테일하게 작성되지 않고 큰 기능 중심으로 작성되어서 유지 보수에 드는 시간이 많지 않을 것 같습니다. 다만, 상세히 작성하지 않으면서 예외 케이스도 확인 가능하다고 말씀해 주셨는데 서비스에 능숙한 QA가 아닌 서비스 파악이 미숙한 QA도 동일하게 TC보다 좋은 테스트가 가능했는지 궁금했습니다.
프로젝트의 서비스 변경 파악과 신입 교육 시에는 전체 기획서를 보는 것보다 테스트 맵을 활용하는 것이 도움이 될 것 같다고 생각했고, 테스트 맵을 적용했을 때의 장점과 어떤 단계에서 주로 사용 가능한지에 대해 설명해 주셔서 흥미롭게 시청했습니다.
라미엘 : 원격 모바일 테스팅을 위한 HBsmith의 노력
원격 모바일 테스팅을 도입하게 된 이유와 도입 과정에 대한 발표였습니다.
실기기에서 테스트를 하고 싶고 다양한 장비에서 동시에 테스트를 원하는 고객의 요구사항과 기존 오픈소스나 사용 솔루션은 유지보수가 잘되지 않고 커스터마이징 불가하다는 단점들 때문에 직접 구축을 하게 되었다고 합니다.
해당 분야에 관심이 있는 분들이라면 도입을 시작하기에 앞서 어떤 부분을 고려해야 하는지 문제 사항은 어떤 것인지 간략하게나마 알 수 있는 발표였던 것 같습니다.
API 테스트의 시작
API의 정의와 MyRealTrip에서 수행된 API 테스트에 대한 발표였습니다.
▶︎ API 테스트란 ?
예상대로 API가 동작하는지를 확인하는 테스트
- 장점 : 빠른 릴리즈 주기에 대응 / 이슈의 빠른 수정 확인 / 좀 더 높은 테스트 커버리지 확보 ( edge 케이스에 대해 파라미터의 조합을 통해 쉽게 테스트 가능 )
UI 테스트보다 조기에 크리티컬한 이슈를 찾을 수 있고 UI 테스트에서 발견하기 어려운 이슈도 발견할 수 있음 - 단점 : 이슈 발생 시 이슈를 찾기 어려움 / 잦은 API 수정이 있다면 팔로업 리소스가 필요
▶︎ 확인해야 할 포인트
- 기본적인 리퀘스트와 응답값
- Happy Test
▶︎ 마이리얼트립 예시 ( 검색 기능 / 위시리스트 기능 )
Postman을 활용하여 API 테스트 수행
- API 문서나 개발자 상호 협의된 내용이 구현되었는지 확인 ( 기본적인 리퀘스트와 응답값 ) + negative 테스트에 대해서도 확인
- 시나리오를 통한 기능 및 요구사항 확인
기존에 테스트 시 시나리오를 통한 기능 확인은 보통 매뉴얼로 진행하고 기본적인 API 동작 확인 (negative + positive) 만 진행하였는데 시나리오를 통한 기능 확인에 대해서도 고려해 보게 되었습니다.
API 테스트에 대한 정보는 많지만 구체적으로 어떤 것들이 확인이 필요한지 관련한 정보가 많이 없다고 평소에 생각을 했는데, 이와 관련한 부분들에 대해 설명해주셔서 많은 도움이 되었습니다.
테스트 아키텍트가 하는 일
테스트 아키텍트가 어떤 일을 하는지 왜 필요한지와 관련한 발표입니다. 어떤 부분이 중요하며 발표자님께서 그 과정에서 얻게 된 교훈들을 중점적으로 말씀해 주셨습니다.
▶︎ 테스트 아키텍트
-
RACI > 업무와 역할 배분을 하는 협업 도구
Swimlane > 업무흐름도 정의로 워크플로 효율화 제고
모든 일에 대해 그리는 것은 아니지만 RACI만으로는 혼선이 생길 수 있는 부분에 대해 Swimlane을 그리는 것이 좋음 -
Quality Roadmap
품질 로드맵을 통해 팀을 성장시킴
아래 사항들에 대해 정리할 필요가 있음
-비즈니스 우선순위 / 단계 별 목표 및 성과 측정 / 문제 상황 -
Layered Test Architecture
테스팅 문제 해결을 위해 계층 구조는 필연적
-Test Polygon / Test Gap & Duplicate / Coverage Map -
Closed Loop Process
폐쇄회로 프로세스로 학습하는 조직으로 나아가기
-Escalation / Escape / Get well program
QA Process 개선으로 팀빌딩 시작하는 법
야놀자 클라우드에서 QA 프로세스를 개선한 경험에 대한 발표였습니다.
▶︎ QA Process란?
QA 활동이 SDLC 전반에서 어떻게 이루어지에 대한 Standard
적기에 적정 품질을 보장하여 비지니스 성장에 기여하기 위해 수행
- QA 의 Pain Point
QA = Test 로 인식 / QA의 의견에 대한 신뢰성 낮음 / 높은 심각도의 bug가 테스트 후반에 나오는 경향 / 테스트 스케줄 관리의 어려움 등
Jira / Confluence / Slack / TestRail 등 현재 업무 진행하는 툴에 변경된 프로세스를 적용하여 도입
정확하게 요구사항이 반영되었는지 확인하기 위해 개발 완료 시점에 PO와 함께 데모 시간을 가진다고 하셨는데 QA/PO 간에 각각 확인 점검하는 것보다 함께 점검하며 마지막 점검이 더 효율적으로 이루어질 것 같다고 생각했습니다.
QA 의 Pain Point 는 공감이 많이 갔던 부분이었습니다.
사실 프로세스는 변경하는 과정 그 자체가 어렵다기보다 현재 업무에 큰 문제가 체감되지 않을 수도 있고 변경을 굳이 해야 할까? 라는 생각에 막혀 변경하기 어려운 경우가 더 많다고 생각합니다.
현재에 안주하여 개선할 노력이 부족했던 것 같아 스스로 반성하는 계기가 되었습니다.
누구 한 명이 한다고 이루어지는 것이 아니라 주도적으로 전체 팀이 함께 반영되어야 하고 현재 프로세스를 변경할 위치가 아니더라도 준비한다면 추후 답을 찾을 수 있을 것이라고 말씀해 주셔서 인상 깊었습니다.
