B2B SaaS 스타트업 QA(1st QA Korea Conference - wrap up)

2023년 올해 상반기에 개최된 QA Korea Conference에 연사자로 참여하여 발표를 진행했는데요. 이에 개인적으로 진행한 내용을 톺아보며 기록을 남기는 것과 동시에 해당 행사에 참여하시지 못한 분들께 도움이 되면 좋겠다 싶어 포스팅을 작성합니다.

해당 행사 발표에 관한 내용이 운영상 일체 오픈되지 않은 점에 기반하여 본 포스팅도 발표 내용 중 일부만 다루는 점 양해 부탁드립니다.

소개

저는 행사 당일 마지막 세션을 담당했습니다. 제가 준비한 콘텐츠는 아래와 같습니다.

• 현재 소속한 글로벌 SaaS 프로덕트를 만들어가며 실천한 품질 행위
• 스타트업에 재직하면서 느낀 QA 역할과 갖추면 좋은 마인드셋에 대한 제 생각
  

들어가기에 앞서, 아드리엘이 어떤 회사인지 그리고 프로덕트에 대한 기본적인 설명이 있어야 이해가 보다 쉽게 이루어질 수 있을 것 같아 소개 드려봅니다.

• 프로덕트 설명 : 모바일, PC 등의 디지털 광고 데이터들을 자사의 고유 기술력으로 데이터를 한 곳으로 중앙화하고, 대시보드 형태로 시각화해주는 마케팅 솔루션입니다.
• 서비스 대상 : 글로벌
• 서비스 제공 형태 : 웹, 앱
  

주요 콘텐츠

1. Bug Process & Data Handling

• ASIS
  • 무분별한 채널을 통한 버그리포트 인입
  • 일관된 형태가 아닌 버그리포트
• TOBE
  • 버그 리포팅 채널을 독립된 공간으로 제한
  • 누가 언제 올려도 항시 동일한 Template으로 등록될 수 있도록 마련 (Slack WorkFlow)
  • 등록된 리포트는 실시간 데이터로 적재될 수 있도록 마련(Slack WorkFlow Builder)
    
• TOBE
  • 적재된 데이터를 가공하여 이해관계자들에게 유의미한 형태로 지속 전달할 수 있도록 마련(Google Apps Script, Google Cloud)
    
• TOBE
  • 클라이언트별 이슈 현황을 제공하는 프로그램(bot) *일부 스크린샷
  • 미해결된 이슈들에 한 해 담당자들 노티 프로그램(bot)
  • 리포트에 관한 Raw Data를 활용하여 Quality Metric을 마련, Trend 지속 관리
  • 이 외 각종 품질 생산성을 높여주는 프로그램(bot)
    

2. Emoji Driven Communication

• ASIS
  • 일과 중 하루에도 많게는 수십 번 동일한 메시지 입력 리소스
    
• TOBE
  • 이모지 3개만 있으면 불필요한 커뮤니케이션 줄일 수 있도록 개선
  • Asana 이모지 > Asana ticket 생성 후 URL 스레드에 전달
    • Asana는 Jira와 유사한 프로젝트 관리 소프트웨어 (Asana 소개)
    • 자동화(WebApp, Slack Event Subscriptions, Asana API)
  • 톱니바퀴 이모지 > QA가 개발 측에 전달했으니 기다려달라는 메시지
  • OK 이모지 > 이슈 처리 완료 및 스레드 종료 표식
    

3. Client Monitoring

• TOBE
  • Puppeteer를 이용한 각기 다른 고객 상태공간 점검
    • 증가하는 클라이언트 개수와 모니터링 시간을 해결하고자 Puppeteer Cluster를 활용
  • (특정 약속된 시각에) 프로덕트 품질 전반에 대한 피드백과 가이드라인을 사업본부에 공유
    

4. Log Reporting, Landing Page Monitoring

• TOBE
  • APM 서버로 활용하는 Elastic을 실시간으로 모니터링하여 트랜잭션 실패 케이스에 대해 봇으로 전달
    • Elastic Search, Slack API, Puppeteer
  • 테스팅을 거쳐 로그 기반의 버그리포트를 통해 보다 정확한 디버깅을 지원
  • End User단에 장애로 발생하기 전에 사전에 이슈 수정 대응
  • 발생 빈도를 고려하여 상대적으로 높은 20%의 이슈를 수정하여, 나머지 80% 이슈를 해소할 수 있는 효율적인 대응
    
• TOBE
  • 랜딩 페이지(단순 정보를 나열하는 일반 홈페지이와 다르게 특정 목적을 가지고 접근하는 아주아주 중요한 페이지)를 실시간 모니터링
  • Puppteer Event Emitter Class > http request 400 이상, 이미지 깨짐, Console warning 등 검출
    

5. QA/Test Engineer in Startup

1. 일터에 불분명한 R&R으로 그레이존이 있다면 품질 조직이 손 뻗고 나서보기
2. 관성에 얽매인 활동보다는 변화에 유연한 QA 시도
   • 테스트케이스가 꼭 필요한지, 개발 대비 품질 직군 비율이 현저히 적다면 코칭, 어시스트 역할은 어떤지 등
3. 회사 규모를 참고하여 팀운영
   • Product Marketfit을 찾는 단계라면 프리랜서는 어떤지
   • 구성원을 인하우스와 아웃소싱 중 어떤 형태로 운영 고려
4. 스타트업에서 품질 직군의 활동은 비즈니스와 아주아주 밀접하기
   • 당연한 소리를 하는 것처럼 들릴 수 있으나, 품질 행위를 하다보면 간혹 맹목적인 불필요한 역할을 할 수 있음
   • 릴리즈 여정에서 우리 팀이 병목은 아닌지, 우리가 필요없는 비용은 아닌지, 실제로 비즈니스에 임팩트를 끼치는 지 등 수시로 자가 점검 필요
5. 개개인 역량을 성장시킬 수 있도록 발판 마련
   • 주니어 동료도 테스팅만 할 것이 아니라 일정 및 리스크 산정, 리포트 코멘트 작성 등 독려
   • 놓인 문제를 품질팀에서 해결할 수 있는 솔루션 모색
   • 각 멤버의 역량을 향상시켜 팀 전체로 확장될 수 있도록 이끌어보기

참고사항

• QA Korea Conference - Linkedin
• 1st QA Korea Conference 행사 링크

이상입니다.
끝.