QA 엔지니어 송창걸님과의 chat

송창걸님 소개

https://www.linkedin.com/in/changgull/

I am a full stack QA/Test Engineer/Manager. I am an SDET with IT and DevOps skill sets. I manage my own instance of Jenkins to run tests and jobs I wrote my own. I create new test frameworks using maven, testNG, and selenium. I don't make it just work; I design to make it easier to use, more compatible, more portable, and more efficient. I encourage engineers to place most of the tests on the cheaper unit tests, leaving only useful tests on more expensive integration tests. Instead of placing heavy process, I write scripts using Jira API to automatically monitor what is being tested and released so that code commits can be communicated to program managers and product managers. With the background of both engineering and MBA, I can help the engineering team work with better focus.

QA Efforts

• 서비스의 특성에 따라서 브라우저 커버리지가 다르다.
• Datadog → Pagerduty 는 QA와 상관없이 필수 요건
• E2E에서 bug가 발생한다면 이는 큰 문제, unit test에서 basic function 테스트 완료
• unit test에서 발견할 수 없는 UI적인 문제를 찾아내는 것이 QA 엔지니어의 목적

Questions

• 안정성을 높이기 위해 유닛테스트를 붙이는게 좋은 생각일까요?
  
  [chang: QA pyramid를 참고하세요]
  

• Critical user interruption을 방지하기 위해 (갑자기 주요 기능이 안 된다든지) E2E 테스트에만 의존해도 될까요?
  

• E2E를 진행하기 위해서 선행되야되는 작업이 무엇이 있어야 될까요?

  • 인수테스트(ATDD)
  • 올바른 마크업
  • 올바른 라우팅

• DB를 집적 조작하는 E2E 테스트에서 사용됬던 Clean Up 과정 구축은 어떻게 진행될까요?

  • 시나리오
    • 이메일 신규 가입 렌딩
    • visit 이메일 신규 가입 페이지 접속
    • type email and password
    • submit
    • see onboarding url
    • 통과 시, 해당 가입자 아이디 삭제 ← clean up
      [chang: 저는 (필요한 경우) 이 방법을 쓰고 있습니다]
  • 이 외 시나리오 - 성향테스트 및 OX 참여, 댓글, 채팅방
    

• Visual Regression Testing의 목표를 어떻게 수립 할 수 있을까요?
  [chang: 써보지는 않았지만 https://www.lambdatest.com/support/docs/smart-visual-testing]

• 프론트 E2E 테스트 고려하는 프레임워크

  • cypress / codeceptjs - playwright

• E2E를 위해 Selenium을 쓸텐데 백엔드를 Github Action으로 할까요, LambdaTest?
  - 처음부터 LambdaTest를 사용하기엔 비용이 너무 비싸다. LambdaTest는 최종 목적지

• 현재 상황에서 QA 프로세스의 현실적인 목표를 어떻게 잡아야 할까요?

  • 중요한 worflow에 대해서 모든 빌드 테스트
  • 모든 컴포넌트에 unit test
  • 그 외 아이디어

• 그 목표를 이루기 위해 프로세스를 어떻게 구성해야될까요?

  • 유닛테스트? E2E 테스트? Manual Test? 등등
  • QA 프로세스 정의
  • QATC - QA에서 테스트를 정의하고 → 모든 케이스 통과

• Selenium ?

  • UI 테스트 툴, 모바일은 appium 추천 , Java로 test logic 구성 추천(stack overflow에 정보가 많다)

• 인력이 부족한 스타트업에서 현실적으로 한 명이 QA를 전담하는 것이 좋을까요?

  • testing environment 구성이 첫 번째
  • critical 하지만 자주 테스트 하기 어려운 기능은 필수적으로 automation