throughput
- 링크 내에서 성공적으로 전달된 데이터의 양
- throughput이 많아졌다 = 처리되는 트래픽이 많아졌다
- 단위는 bps(bits per second), 초당 전송 또는 수신되는 비트 수
latency
- 요청이 처리되는 시간
- 어떤 메세지가 두 장치 사이를 왕복하는데 걸리는 시간
TX rate
- Transmit rate, 데이터 송신 속도
- TX(Transmit) : 데이터를 송신하는 것
- 보통 초당 전송되는 데이터의 양(ex> Mbps)으로 측정됨
- 클라이언트 성능이 결정함
RX throughput
- Receive throughput, 데이터를 수신하는 처리 속도
- RX(Recieve) : 데이터를 수신하는 것
- 보통 초당 수신되는 유효한 데이터의 양으로 측정됨
Client's Demand
- 네트워크 또는 시스템에 보내는 요청의 속도
- arrival rate (서버 관점)
- sending rate, TX rate (클라이언트 관점)
Goodput
- application-level throughput, rx throughput
- 애플리케이션 수준에서 유효한 데이터 처리량
- RX throughput: 모든 수신된 데이터(오버헤드 포함)를 처리하는 속도
- Goodput: 애플리케이션이 실제로 처리하는 유효 데이터의 속도
Tail Latency
- 99번째 백분위수(latency): 100개의 샘플 중 99번째 샘플의 지연 시간
- Tail Latency 는 가장 극단적인 지연 시간을 의미하며, 일반적으로 상위 99% 또는 99.9%의 요청에서 발생하는 지연을 나타냄
- latency 의 평균이나 중위값보다는 tail latency 가 중요한 지표
example
왜 Goodput이 더 이상 증가하지 않을까?
- goodput 이 max throughput 에 도달했기 때문에, 포화 상태가 되어 더 이상 증가하지 않음
- 네트워크 또는 시스템이 처리할 수 있는 최대 용량에 도달했기 때문에 더 많은 데이터를 처리할 수 없는 상황
왜 Tail Latency가 증가할까?
- 요청이 많아질수록 작업 대기큐에 대기하는 시간이 늘어나, 요청 처리에 더 많은 큐잉 딜레이가 생김
➡️ 전체 요청 중 가장 느린 1%의 요청 처리 시간이 길어지기 때문에 Tail Latency 증가
왜 Drop Rate가 증가할까?
- 너무 많은 요청이 들어오면 작업 대기큐가 버퍼 오버플로우 되어 새로운 요청을 처리할 수 없게 됨
➡️ 처리할 수 없는 요청들이 버려지게 되며, 이로 인해 Drop Rate 가 증가함
