Test Design with ChatGPT

ChatGPT가 세상에 나오고 하루가 멀다 하게 이를 접목시킨 서비스와 다양한 엔지니어링 소개 글들이 넘쳐나고 있는데요. 저도 소프트웨어 품질 분야에서도 이를 접목시켜보면 어떨까 하여 고민해 보고 다음과 같은 결과물을 공유해 봅니다.

테스트 디자인 with ChatGPT

• 목적 : chatGPT를 통해 체크리스트 도출
• 유저 시나리오
  1. 기능 명세서 작성
  2. 프롬프트 옵션 값 조정
  3. 결과 데이터 정제, 활용
     
• 영상 : https://www.linkedin.com/posts/inkwonpark_qa-test-qachatgpt-activity-7040718830943277056-ILjD?utm_source=share&utm_medium=member_android

사용 환경

• Google Sheets
• GPT for Sheets™ and Docs™ in Google Workspace Marketplace
• OpenAI API

Prompt settings

• 친근하고, 자세하게, 전문가 수준의 독자, QA Engineer 관점, 사용하고자 하는 테스트 디자인 기법은 {명세 기반 테스트}, 주의사항
• 실제 적용 프롬프트 : "Please write a checklist. A checklist is a list of items for testing that can be answered either Pass/Fail or Yes/No. See below for functional specifications and answer settings:" + settings

후기

1. 본문에 적은 것은 그럴듯한 결과물처럼 보이지만 실무에 당장 활용하기엔 많은 연구와 시도가 필요해 보임
2. QA chatGPT 키워드 검색시 테스트 자동화를 위한 기초 스크립팅에 대해서만 주로 기술되어 있지만, 위와 같은 기초 명세부분을 들여다보면 다양한 응용을 해볼 수 있을 것 같음
3. 테스트 용어에서 나와 AI model이 이해하는 단어의 뜻과 용도에 눈높이를 맞출 필요가 있음. 충분한 대화를 핑퐁하거나 프롬프트 옵션 값을 강제화하여 맥락을 조정하는 것이 좋음(e.g. 내가 생각하는 checklist는 단순 P/F를 가리는 것인데, AI는 실행 전후를 포함한 Test Procedure를 계속 내뱉음) #ISTQB Glossary
4. 결국엔 프롬프트를 어떻게 하느냐가 더욱 얻고자 하는 것에 가까이 도달할 텐데(시간 세이브), 이는 결국 본인만의 차별화된 시나리오 즉 본인의 역량과 지식에 수렴될 것으로 생각
5. 시작부터 chatGPT를 이용한 깊이 있는 테스트와 커버리지를 달성하기에는 어려워 보이지만, 리그레션 용도로 활용된 테스트 케이스를 리팩토링 시 이를 이용하면 부족한 부분을 메꾸는데 효과적일 것으로 기대