로드 밸런싱이란?

인터넷의 발달로 데이터 통신은 활발해졌다.
이것은 트래픽의 증가로 이어지게 된다.
(데이터 통신의 예 - 페이스북 ‘좋아요’ /친구에게 카톡으로 전송한 동영상 / 좋아하는 유튜버의 채널 시청)
그 결과로 아무리 성능이 좋은 서버라고 해도 한 대의 서버로 모든 트래픽을 감당하기 어려워졌다.

Scale-up과 Scale-out

Scale-up은 서버 자체의 성능을 확장하는 것을 말한다.
Scale-out은 기존 서버와 동일하거나 낮은 성능의 서버를 증설하는 것을 의미한다.
이때, Scale-out 방식을 통해 증가한 트래픽에 대처하기로 했다면, 여러 대의 서버로 트래픽을 균등하게 분산해주는 로드 밸런싱이 반드시 필요하다.

즉, 단순히 여러 서버를 구축했다고 해도 모든 클라이언트의 요청에 일관되게 대처할 수 없기에, 쏟아지는 트래픽을 여러대로 분산시키는 기술이 필요한데 이것이 로드 밸런싱(Load Balancing)이다.

만약 100명의 사용자가 2대의 서버에 접속한다고 가정했을 때 로드 밸런싱이 없다면 99명의 사용자가 서버 1에 접속, 1명의 사용자가 서버 2에 접속하는 이슈가 발생할 수도 있다. 이러한 현상을 방지하기 위해서는 서버에 가해지는 부하를 적절히 분산하는 작업인 로드밸런싱이 필요하다.

로드 밸런싱의 방식

1. 라운드로빈 방식(Round Robin Method)

서버에 들어온 요청을 순서대로 돌아가며 배정하는 방식이다. 클라이언트의 요청을 순서대로 분배하기 때문에 여러 대의 서버가 동일한 스펙을 갖고 있고, 서버와의 연결(세션)이 오래 지속되지 않는 경우에 활용하기 적합하다.

2. 가중 라운드로빈 방식(Weighted Round Robin Method)

각각의 서버마다 가중치를 매기고 가중치가 높은 서버에 클라이언트 요청을 우선적으로 배분한다. 주로 서버의 트래픽 처리 능력이 상이한 경우 사용되는 부하 분산 방식이다. 예를 들어 A라는 서버가 5라는 가중치를 갖고 B라는 서버가 2라는 가중치를 갖는다면, 로드 밸런서는 라운드로빈 방식으로 A 서버에 5개 B 서버에 2개의 요청을 전달한다.

3. IP 해시 방식(IP Hash Method)

클라이언트의 IP 주소를 특정 서버로 매핑하여 요청을 처리하는 방식이다. 사용자의 IP를 해싱해(Hashing, 임의의 길이를 지닌 데이터를 고정된 길이의 데이터로 매핑하는 것, 또는 그러한 함수) 로드를 분배하기 때문에 사용자가 항상 동일한 서버로 연결된다.

4. 최소 연결 방식(Least Connection Method)

요청이 들어온 시점에 가장 적은 연결상태를 보이는 서버에 우선적으로 트래픽을 배분한다. 자주 세션[1]이 길어지거나, 서버에 분배된 트래픽들이 일정하지 않은 경우에 적합한 방식이다.

5. 최소 응답 시간 방식(Least Response Time Method)

서버의 현재 연결 상태와 응답 시간(Response Time, 서버에 요청을 보내고 최초 응답을 받을 때까지 소요되는 시간)을 모두 고려하여 트래픽을 배분한다. 가장 적은 연결 상태와 가장 짧은 응답 시간을 보이는 서버에 우선적으로 로드를 배분하는 방식이다.

L4 로드 밸런스 vs L7 로드 밸런스

L4 로드 밸런스

• Layer 4(전송 계층) 프로토콜의 헤더를 부하 분산에 이용
• 네트워크 계층(IP, IPX)이나 전송 계층(TCP, UDP)의 정보(IP주소, 포트번호, MAC주소, 전송 프로토콜)를 바탕으로 로드
  
  

1) 라운드로빈 방식(Round Robin Method)

서버에 들어온 요청을 순서대로 돌아가며 배정하는 방식이다. 클라이언트의 요청을 순서대로 분배하기 때문에 여러 대의 서버가 동일한 스펙을 갖고 있고, 서버와의 연결(세션)이 오래 지속되지 않는 경우에 활용하기 적합하다.

2) 가중 라운드로빈 방식(Weighted Round Robin Method)

각각의 서버마다 가중치를 매기고 가중치가 높은 서버에 클라이언트 요청을 우선적으로 배분한다. 주로 서버의 트래픽 처리 능력이 상이한 경우 사용되는 부하 분산 방식이다. 예를 들어 A라는 서버가 5라는 가중치를 갖고 B라는 서버가 2라는 가중치를 갖는다면, 로드 밸런서는 라운드로빈 방식으로 A 서버에 5개 B 서버에 2개의 요청을 전달한다.

3) IP 해시 방식(IP Hash Method)

클라이언트의 IP 주소를 특정 서버로 매핑하여 요청을 처리하는 방식이다. 사용자의 IP를 해싱해(Hashing, 임의의 길이를 지닌 데이터를 고정된 길이의 데이터로 매핑하는 것, 또는 그러한 함수) 로드를 분배하기 때문에 사용자가 항상 동일한 서버로 연결된다.

4) 최소 연결 방식(Least Connection Method)

요청이 들어온 시점에 가장 적은 연결상태를 보이는 서버에 우선적으로 트래픽을 배분한다. 자주 세션[1]이 길어지거나, 서버에 분배된 트래픽들이 일정하지 않은 경우에 적합한 방식이다.

5) 최소 응답 시간 방식(Least Response Time Method)

서버의 현재 연결 상태와 응답 시간(Response Time, 서버에 요청을 보내고 최초 응답을 받을 때까지 소요되는 시간)을 모두 고려하여 트래픽을 배분한다. 가장 적은 연결 상태와 가장 짧은 응답 시간을 보이는 서버에 우선적으로 로드를 배분하는 방식이다.

L7 로드 밸런스

• Layer 7(응용 계층) 프로토콜의 헤더를 부하 분산에 이용
• 애플리케이션 계층(HTTP, FTP, SMTP)에서 로드를 분산하기 때문에 HTTP 헤더, 쿠키 등과 같은 사용자의 요청을 기준으로 특정 서버에 트래픽을 분산하는 것이 가능
• 사용자의 요청을 기준으로 특정 서버에 트래픽을 분산하는 것이 가능
• 패킷의 내용을 확인하고 그 내용에 따라 로드를 특정 서버에 분배하는 것이 가능
  (URL에 따라 부하를 분산시키거나, HTTP 헤더의 쿠키 값에 따라 부하를 분산)
• 특정한 패턴을 지닌 바이러스를 감지해 네트워크를 보호할 수 있으며, DoS/DDoS와 같은 비정상적인 트래픽을 필터링할 수 있음

1) URL Switching (URL 스위칭 방식)

URL 주소를 확인해 설정에 알맞은 서버로 부하를 분산하는 방식이다. '.../images' 혹은 '.../video' 와 같은 URL은 서버가 아닌 별도의 스토리지에 있는 객체 데이터로 바로 연결되도록 구성할 수 있다.

2) Context Switching (컨텍스트 스위칭 방식)

클라이언트가 요청한 특정 리소스에 따라 특정 서버로 연결할 수 있다. 이미지 파일에 대해서는 확장자를 참조해 별도로 구성된 이미지 파일이 있는 서버 또는 스토리지에 직접 연결해 줄 수 있다.

3) Persistence with Cookies (쿠키 지속성)

쿠키 정보를 바탕으로 클라이언트가 연결했던 서버에 계속 할당해 주는 방식이다. HTTP header의 쿠키 값 설정에 따라 스위칭 할 서버를 결정합니다.

로드밸런싱의 단점

로드밸런서를 사용할 때 한 대의 로드밸런스 서버가 여러 대의 서버로 요청을 분산하기 때문에 로드밸런스 서버에서 장애를 일으키면 서비스 전체가 정지된다는 단점이 있다.
이를 해결하기 위해서 위와 같은 형태 외에 고가용성 로드밸런서를 사용하면 단점을 해결할 수 있다.
고가용성 로드밸런서란 두 대의 로드밸런스 서버가 마스터와 스탠바이 역할을 가진다.
마스터 서버가 로드밸런스를 담당하다가 장애를 일으키면, 대기 상태의 스탠바이 서버가 로드밸런스를 담당하게 된다. 마스터 서버가 복구되면 스탠바이 서버는 다시 대기 상태가 되는 안정적인 형태이다.

중요 용어 및 개념

세션[1] : 사용자가 웹 브라우저를 통해 웹서버에 접속한 시점으로부터 웹 브라우저를 종료하여 연결을 끝내는 시점까지, 같은 사용자로부터 오는 일련의 요청을 하나의 상태로 보고, 그 상태를 일정하게 유지하는 기술.
즉, 방문자가 웹 서버에 접속해있는 상태를 하나의 단위로 보고 그것을 세션이라고 한다.

ex)세션을 체크하여 관리자/사용자 여부 판단

참고자료

1) https://tecoble.techcourse.co.kr/post/2021-11-07-load-balancing/
2) https://easymedia.net/Culture/EasyStory/index.asp?no=174&mode=view&IDX=1173&p=1