TIL | [부하테스트] 시나리오와 페이즈

부하 테스트에서 "시나리오"는 매우 중요한 개념입니다. 부하 테스트 시나리오는 테스트 대상 시스템이나 애플리케이션에 가해지는 특정 사용자 행동의 시퀀스나 워크플로우를 정의합니다. 이는 실제 사용자가 시스템을 사용할 때 발생할 수 있는 다양한 상황을 모방하기 위해 설계됩니다. 시나리오를 통해 개발자와 테스터는 애플리케이션의 성능, 안정성, 그리고 규모 확장성을 평가하고 분석할 수 있습니다.

시나리오 작성 시 유의할 점

시나리오를 작성할 때 유의해야 할 점은 여러 가지가 있습니다. 특히, 성능 테스트나 부하 테스트와 같은 상황에서는 시나리오가 실제 환경을 가능한 정확하게 반영하도록 만드는 것이 중요합니다. 다음은 시나리오를 작성할 때 고려해야 할 몇 가지 중요한 요소입니다:

1. 실제 사용자 행동 이해: 시나리오는 실제 사용자의 행동 패턴을 반영해야 합니다. 사용자가 시스템을 어떻게 사용하는지, 어떤 기능이 가장 자주 사용되는지 등을 파악하고 이를 시나리오에 반영해야 합니다.

2. 핵심 기능 포함: 모든 기능을 테스트하는 것은 실질적으로 불가능할 수 있습니다. 그러므로 가장 중요하고, 가장 많이 사용되며, 가장 큰 부하를 발생시킬 것으로 예상되는 핵심 기능들을 중심으로 시나리오를 구성해야 합니다.

3. 다양한 사용자 시나리오 고려: 단일 사용자의 행동만을 고려하는 것이 아니라, 다양한 사용자 유형과 그들의 행동 패턴을 고려해야 합니다. 예를 들어, 로그인한 사용자와 비로그인 사용자의 행동, 신규 사용자와 기존 사용자의 행동이 다를 수 있습니다.

4. 데이터의 다양성: 테스트 시 사용되는 데이터는 가능한 실제와 가까워야 합니다. 예를 들어, 사용자 계정 정보, 제품 목록, 검색 쿼리 등은 실제 사용 사례를 반영해야 합니다. 데이터의 다양성이 테스트의 신뢰성을 높일 수 있습니다.

5. 성능 목표 설정: 시나리오를 작성하기 전에, 성공적인 테스트의 기준이 될 성능 목표를 명확히 설정해야 합니다. 응답 시간, 처리량(초당 요청 수), 에러율 등의 지표를 사용할 수 있습니다.

6. 점진적 부하 증가: 사용자가 갑자기 대거 몰리는 상황도 중요하지만, 점진적으로 부하를 증가시키는 시나리오도 마련해야 합니다. 이를 통해 시스템이 어느 지점에서 성능 저하가 시작되는지 파악할 수 있습니다.

7. 예외 상황과 에러 처리: 예외 상황이 발생했을 때 시스템이 어떻게 반응하는지도 중요한 테스트 사항입니다. 시스템이 에러를 적절히 처리하고 회복하는지 확인해야 합니다.

8. 문서화와 유지보수: 시나리오는 명확하고 이해하기 쉽게 작성되어야 합니다. 또한, 시스템이나 사용자 행동의 변화에 따라 시나리오를 쉽게 업데이트할 수 있도록 유지보수 가능해야 합니다.

유저 플로우와 시나리오

유저 플로우 분석을 통해 실제 사용자의 행동 패턴, 가장 많이 사용되는 기능, 사용자의 경로 등을 파악할 수 있으며, 이 정보를 기반으로 하여 더 현실적이고 타겟화된 테스트 시나리오를 구성할 수 있습니다. 이 과정을 통해 시스템의 성능을 실제와 유사한 조건에서 평가할 수 있으며, 잠재적인 문제점을 보다 정확하게 파악할 수 있습니다. 유저 플로우를 적용하여 부하 테스트 시나리오를 작성할 때 고려해야 할 몇 가지 사항은 다음과 같습니다:

1. 시작점과 종료점: 사용자가 시스템을 사용하기 시작하는 지점과 사용을 마치는 지점을 정의합니다. 이는 테스트의 범위를 설정하는 데 도움이 됩니다.

2. 주요 경로 파악: 사용자가 시스템 내에서 가장 자주 사용하는 경로를 파악하고, 이러한 경로를 테스트 시나리오에 포함시킵니다.

3. 병목 지점 식별: 유저 플로우 분석을 통해 시스템 내에서 병목이 발생할 가능성이 있는 지점을 식별할 수 있습니다. 이러한 지점에 대한 부하 테스트를 강화하여 시스템의 성능 한계를 파악합니다.

4. 다양한 사용자 행동 고려: 신규 사용자와 기존 사용자, 로그인한 사용자와 비로그인 사용자 등 다양한 유형의 사용자 행동을 고려합니다. 각 유형의 사용자에 대한 시나리오를 작성하여 테스트합니다.

5. 대안적 경로 포함: 사용자가 주요 경로 외에 선택할 수 있는 다른 경로들도 고려합니다. 예기치 않은 사용자의 행동이나 선택도 시스템의 성능에 영향을 줄 수 있으므로, 이러한 경로들도 테스트에 포함시키는 것이 좋습니다.

6. 데이터의 실제성: 테스트에 사용되는 데이터는 사용자의 실제 사용 사례를 반영해야 합니다. 예를 들어, 검색 쿼리, 사용자 입력 데이터 등은 실제 사용자의 데이터와 유사하게 설정합니다.

유저 플로우를 기반으로 부하 테스트 시나리오를 작성하는 것은 시스템의 성능을 실제 사용 환경에 가깝게 평가할 수 있는 방법입니다. 이를 통해 시스템의 성능과 안정성을 향상시키는 데 기여할 수 있습니다.

부하 테스트 시나리오 요소

• 사용자 행동: 사용자가 애플리케이션에서 수행할 수 있는 동작들, 예를 들어 웹 페이지 방문, 로그인, 상품 검색, 구매 등입니다.
• 가상 사용자(Virtual Users, VUs) 수: 테스트 중에 시뮬레이션할 동시 사용자 수입니다.
• 테스트 지속 시간: 시나리오가 실행될 총 시간입니다.
• 피크 타임: 최대 부하(가장 많은 VUs)가 발생하는 시간입니다.
• 램프 업 및 램프 다운: 가상 사용자 수를 점진적으로 증가시키거나 감소시키는 과정입니다.
• 목표 및 기대 결과: 테스트를 통해 달성하고자 하는 목표와 기대하는 성능 지표입니다.

시나리오를 사용하는 이유는 다음과 같습니다:

• 실제 사용 사례 모델링: 시나리오는 실제 사용자가 시스템을 어떻게 사용할지에 대한 현실적인 표현을 제공합니다.
• 성능 병목 발견: 복잡한 사용자 행동을 모방함으로써, 성능 저하나 시스템의 병목 현상을 발견할 수 있습니다.
• 규모 확장성 평가: 다양한 부하 수준에서 시스템의 반응을 테스트하여, 시스템의 확장성과 처리 능력을 평가할 수 있습니다.
• 결함 수정: 부하 테스트를 통해 발견된 문제점을 수정하여, 실제 운영 환경에서의 사용자 경험을 개선할 수 있습니다.

시나리오의 페이즈

시나리오에서 각각의 "phases"는 부하 테스트 동안의 특정 기간을 나타냅니다. 각 페이즈는 duration과 arrivalRate (그리고 선택적으로 rampTo)를 설정하여 테스트 기간 동안 시스템에 도달하는 가상 사용자(virtual users, VUs)의 수를 조절합니다.

• duration: 페이즈의 지속 시간을 초 단위로 설정합니다.
• arrivalRate: 초당 새로 도착하는 가상 사용자의 수를 설정합니다.
• rampTo: (선택 사항) 페이즈가 끝날 때까지 도달해야 하는 목표 가상 사용자 수입니다. 이 속성을 사용하면, arrivalRate에서 rampTo로 점진적으로 가상 사용자 수를 증가시킬 수 있습니다.

테스트 시나리오는 각 페이즈가 시작될 때부터 적용됩니다. 즉, 첫 번째 페이즈가 시작되면 정의한 시나리오(scenarios)에 따라 가상 사용자들이 활동을 시작합니다. 각 페이즈의 설정에 따라 가상 사용자의 수가 변화하며, 이는 전체 테스트 기간 동안 지속됩니다. 페이즈가 변경될 때, 새로운 페이즈의 설정에 따라 가상 사용자의 도착률이 조정되지만, 시나리오 자체가 다시 시작되거나 초기화되는 것은 아닙니다. 시나리오는 계속해서 실행되며, 각 페이즈의 설정 변경은 가상 사용자의 수에만 영향을 미칩니다.

따라서, 한 페이즈가 끝날 때마다 새로운 시나리오가 시작되는 것이 아니라, 전체 테스트 기간 동안 동일한 시나리오가 지속적으로 실행되며, 각 페이즈 설정에 따라 가상 사용자의 수가 변화합니다.