📌 [벡엔드 애플리케이션 성능 테스트하기] 02. Artillery

📖 Artillery 소개

node.js 먼저 다운로드 하자.
artillery 다운로드 하자.

npm install -g artillery@1.7.6

📖 Artillery로 간단한 성능 테스트 진행해보기

@RestController
public class SimpleController {
    @RequestMapping(value = "/hello", method = RequestMethod.GET)
    public String sayHello() {
        return "Hello, World!";
    }
}

다음과 같은 간단한 컨트롤러가 있다고 하자.

터미널에서 yaml파일을 만들어 어떤식으로 진행 될 지 먼저 만들어보자.
프로젝트 최상단에 test-config.yaml(성능 테스트 스크립트)을 다음과 같이 만들자.

config:
  target: 'http://localhost:8080'
  phases:
    - duration: 60
      arrivalRate: 5
scenarios:
  - flow:
    - get:
        url: "/hello"

터미널에 ls를 치면

다음이 보인다.

- duration: 60
  arrivalRate: 5
  
  60초 동안 매 1초 마다 5개의 요청을 하는 것이다. -> Throughput : 5

터미널에서 다음을 실행하자

artillery run --output report.json test-config.yaml

실행된 스트레스 테스트 결과를 output 파일을 지정해주는 것이다.
report.json 이라는 곳으로 이 스트레스 테스트를 진행한 결과를 출력해주라는 것이다.

Report @ 00:09:56(+0900) 2024-01-09
Elapsed time: 1 minute, 0 seconds
  Scenarios launched:  50
  Scenarios completed: 50
  Requests completed:  50
  Mean response/sec: 5
  Response time (msec):
    min: 0
    max: 1
    median: 1
    p95: 1
    p99: 1
  Codes:
    200: 50

Report @ 00:09:56(+0900) 2024-01-09
Elapsed time: 1 minute, 0 seconds
  Scenarios launched:  1
  Scenarios completed: 1
  Requests completed:  1
  Mean response/sec: 1.96
  Response time (msec):
    min: 1
    max: 1
    median: 1
    p95: 1
    p99: 1
  Codes:
    200: 1

All virtual users finished
Summary report @ 00:09:56(+0900) 2024-01-09
  Scenarios launched:  300
  Scenarios completed: 300
  Requests completed:  300
  Mean response/sec: 4.97
  Response time (msec):
    min: 0
    max: 62
    median: 1
    p95: 2
    p99: 2
  Scenario counts:
    0: 300 (100%)
  Codes:
    200: 300

min : 최소 레이턴시
max : 최대 레이턴시
median : 중간값
p95 : 95% 사용자가 어느 정도의 레이턴시를 느끼고 있는지
p99 : 99% 사용자가 어느 정도의 레이턴시를 느끼고 있는지
codes:200 : 200 OK 개수

1초당 5개의 요청이므로 10초동안 50개 60초 동안 300개의 요청이 존재한다.

report.json 파일이 생긴 것을 볼수 있다.

"aggregate": {
    "timestamp": "2024-01-08T15:09:56.678Z",
    "scenariosCreated": 300,
    "scenariosCompleted": 300,
    "requestsCompleted": 300,
    "latency": {
      "min": 0,
      "max": 62,
      "median": 1,
      "p95": 2,
      "p99": 2
    },
    "rps": {
      "count": 300,
      "mean": 4.97
    },
    "scenarioDuration": {
      "min": 2.6,
      "max": 70.8,
      "median": 3.4,
      "p95": 4.7,
      "p99": 7.2
    },
    "scenarioCounts": {
      "0": 300
    },
    "errors": {},
    "codes": {
      "200": 300
    },
    "matches": 0,
    "customStats": {},
    "counters": {},
    "scenariosAvoided": 0,
    "phases": [
      {
        "duration": 60,
        "arrivalRate": 5
      }
    ]
  },
  "intermediate": [
    {
      "timestamp": "2024-01-08T15:09:06.167Z",
      "scenariosCreated": 49,
      "scenariosCompleted": 49,
      "requestsCompleted": 49,
      "latency": {
        "min": 1,
        "max": 62,
        "median": 1,
        "p95": 2,
        "p99": 62
      },
      "rps": {
        "count": 49,
        "mean": 5
      },
      "scenarioDuration": {
        "min": 3,
        "max": 70.8,
        "median": 3.5,
        "p95": 5.4,
        "p99": 70.8
      },
      "scenarioCounts": {
        "0": 49
      },
      "errors": {},
      "codes": {
        "200": 49
      },
      "matches": 0,
      "latencies": [
        62000000,
        2000000,
        2000000,
        2000000,
        2000000,
        1000000,
        2000000,
        1000000,
        2000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        2000000,
        1000000,
        1000000,
        2000000,
        1000000,
        1000000,
        1000000,
        2000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        1000000,
        2000000,
        1000000,
        1000000,
        2000000,
        2000000,
        1000000,
        2000000,
        2000000,
        1000000,
        1000000,
        2000000
      ],
      "customStats": {},
      "counters": {},
      "concurrency": 0,
      "pendingRequests": 0,
      "scenariosAvoided": 0
    }, ... 생략

우리가 볼 수 없으니 HTML로 바꾸자! 다음 명령어를 작성하자.

artillery report report.json --output report.html

-> report.json 파일을 report.html 경로로 출력
report.html 파일이 생성된다!

열어보면 다음과 같은 html이 열림!

• summary
  • Test duration : 60초로 설정 하였지만 조금 더 걸리기 때문에 70초 보인다.
  • Scenarios created : 요청 생성 개수
  • Scenarios completed : 요청에 대한 응답이 정상적인 개수
• Scenarios counts : 시나리오 개수
  • 번호가 붙음 -> 이름으로 바꿀 수 있다. 뒤에서 알아보자.
  • 요청 개수
• codes : 응답에 대한 상태 코드 및 개수
• Errors : 네트워크나 OS 에러

매 초 마다 5개의 요청이 들어온다.

매 초 마다 5개의 요청이 들어오니 10초마다 50개의 요청이 들어온다.

200 OK가 나왔다.

다음과 같이 test-config.yaml을 수정해보자.

config:
  target: 'http://localhost:8080'
  phases:
    - duration: 10
      arrivalRate: 5
    - duration: 10
      arrivalRate: 20
    - duration: 30
      arrivalRate: 100
    - duration: 10
      arrivalRate: 20
scenarios:
  - flow:
    - get:
        url: "/hello"

다음을 터미널에서 실행하자.

artillery run --output report.json test-config.yaml

다음 코드로 실행한 HTML을 들어가보자.

artillery report report.json --output report.html

이와 같은 변화가 생겼다!

본 포스팅은 백엔드 애플리케이션 성능 테스트하기 참고하여 작성하였습니다.