2의 제곱수, 응답지연(latency) 값, 고가용성에 관계된 수치들을 기본적으로 잘 이해하고 있으면 개략적인 규모 추정을 효과적으로 수행하는 데 도움이 된다.
2의 제곱수
제대로 된 계산 결과를 얻으려면 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지를 우선 알아야 한다.
ASCII 문자 하나가 차지하는 메모리 크기 = 1byte (1byte = 8bit)
모든 프로그래머가 알아야 하는 응답지연 값
아래 표는 구글의 제프 딘이 2010년에 통상적인 컴퓨터에서 구현된 연산들의 응답지연 값을 공개한 것이다. 이 수치들은 컴퓨터 연산들의 처리 속도가 어느 정도인지 짐작할 수 있게 해준다.
위의 자료들을 통한 결론은 다음과 같다.
- 메모리는 빠르지만 디스크는 아직도 느리다.
- 디스크 탐색(seek)은 가능한 한 피하라.
- 단순한 압축 알고리즘은 빠르다.
- 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
- 데이터 센터는 보통 여러 지역(region)에 분산되어 있고, 센터들 간에 데이터를 주고받는 데는 시간이 걸린다.
가용성에 관계된 수치들
고가용성(high availability)은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 말한다.
(100% = 시스템이 단 한 번도 중단된 적이 없음)
SLA(Service Level Agreement)는 서비스 사업자와 고객 사이에 맺어진 합의를 의미하며, 서비스 사업자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술되어 있다.
(빅테크 기업 ⇒ 99% 이상의 SLA 제공)
가용시간은 관습적으로 숫자 9를 사용해 표시하며, 9가 많을수록 좋다고 보면 된다.
예제: 트위터 QPS와 저장소 요구량 측정
아래 예제는 가정이고, 연습용이다!!
가정
- 월간 능동 사용자는 3억명
- 50%의 사용자가 트위터 매일 사용
- 사용자 당 평균 매일 2건의 트윗 업로드
- 미디어 포함 트윗은 10%
- 데이터는 5년간 보관
QPS(Query Per Second) 추정치
- 일간 능동 사용자 = 3억 x 50% = 1.5억
- QPS = 1.5억 x 2 트윗 / 24시간 / 3600초 = 약 3500
- 최대 QPS(Peek QPS) = 2 x QPS = 약 7000
미디어 저장을 위한 저장소 요구량
- 평균 트윗 크기
- tweet_id → 64byte
- 텍스트 → 140byte
- 미디어 → 1MB
- 미디어 저장소 요구량: 1.5억 x 2 x 10% x 1MB = 30TB
- 5년간 미디어를 보관하기 위한 저장소 요구량: 30TB x 365 x 5 = 약 55PB
팁!
- 근사치를 활용하여 계산하자!
- 가정들을 적어두자!
- 단위 붙이는 습관!
- 자주 출제되는 유형: QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수
