들어가며
온 프레미스 환경을 디자인 할 때, 네트워크 설계는 가장 중요도가 높은 일이라고 말해도 과언이 아니다. 네트워크는 모든 인프라 시스템과 애플리케이션이 안정적으로 소통할 수 있는 환경을 만들어주는 척추와도 같은 것이기 때문이다. 그렇기 때문에 프로덕션 환경의 네트워크 아키텍처는 요구사항을 만족시키는 선에서 최대한 보수적으로 디자인하는 것이 일반적이다.
홈 랩의 경우도 큰 맥락에서는 이와 다르지 않다. 하지만 실제 워크로드가 돌아가는 환경이 아니기도 하고, 때로는 네트워크 디자인 그 자체를 테스트하기 위한 환경으로 사용되는 일도 있기 때문에, 개인적으로는 유연성을 보장할 수 있는 아키텍처를 선호한다.
이번에 새로운 홈 랩 환경의 네트워크를 디자인하면서, 다음과 같은 목표를 세우고 이를 만족시킬 수 있는 네트워크 아키텍처를 설계하였다.
- 새로운 엔터프라이즈 클래스 기술의 도입
- Spine-Leaf 구조를 이용한 수평적 확장이 가능한 아키텍처 적용
- BGP/VXLAN을 활용한 테넌트 아키텍처 모사
- VMware NSX와의 오버레이 네트워크 통합
아직 랩 환경이 완전하지 않아 위 구상 중 일부만 적용된 상태이긴 하지만, 랩 구성이 완료된 이후 차차 반영해 나갈 계획이다.
하드웨어 구성
가장 먼저, 물리적인 패브릭을 구성하는 케이블과 패치 패널 시스템, 그리고 네트워크 장비를 알아볼 것이다.
RJ-45 UTP 패치코드
[그림 1. Panduit UTP28X]
이번 홈 랩 구축에 사용한 UTP 패치코드는 Panduit 사의 CAT 6A 케이블인 UTP28X이다.
일반 UTP 케이블 대비 상대적으로 적은 단면적을 가지고 있기 때문에, 고밀도 케이블링 구성에 유리하며, 후면 배선 시 간섭이 상대적으로 적다는 장점이 있다.
광 패치코드
광 패치코드는 Panduit의 F92RLU1U1ON과 Commscope의 FDWLCLC 제품을 사용하였다.
Panduit의 제품은 후술할 HD Flex 고밀도 패브릭 시스템과 함께 사용하기 적합하도록 얇은 단면적을 가지고 있고, Commscope의 제품은 평범한 LC-LC 케이블이다.
[그림 2. Panduit F92RLU1U1ON]
광 패치 패널 시스템
한국에서는 거의 사용하지 않는 듯 하지만, RJ-45 케이블을 패칭하는 것과 같이, 광 케이블을 패칭할 수 있는 솔루션들이 시장에 나와 있다. 이번 랩 구축에서는 그 중에서도 MPO 케이블을 활용해 여러 파이버를 한번에 연결할 수 있는 솔루션인 Panduit의 HD Flex 제품군을 사용하였다.
HD Flex는 데이터센터 환경을 위한 고밀도 파이버 패칭 솔루션으로, 1U당 최대 144개의 파이버 (72개의 포트)를 수용할 수 있는 솔루션이다.
HD Flex는 파이버를 연결하는 파이버 카트리지와 파이버 카트리지를 탑재하는 샤시로 구성되어 있다.
나는 HD Flex 제품군 중에서 다음과 같은 제품들을 사용하였다.
- FLEX1U06 (6/12포트 카트리지를 사용할 수 있는 1U 샤시): 2 EA
- FHC9N-12-10AS (6포트 OS2 Method A 카트리지): 8 EA (총 24/24포트)
- FHC9N-24F-10A (12포트 OS2 Modified A 카트리지): 4 EA (총 24/24포트)
카트리지 간 연결에는 Method C 타입의 MPO 케이블을 사용하였으며, MPO의 Method 구분에 대한 자세한 설명은 다음 링크를 참고하면 좋다.
[그림 3-4. FHC9N-24F-10A 실물 사진]
[그림 5. HD Flex 케이블 패칭 예시]
네트워크 스위치
핵심 구성요소인 네트워크 스위치는 Arista 사의 제품을 사용하였으며, 총 두 종류의 스위치를 사용한다.
- Spine 스위치: 1x Arista DCS-7304 (w/ 4x DCS-7320X-32C-LC Line Card)
- Leaf 스위치: 4x Arista DCS-7050TX-64 (각 2대씩)
서버에서 올라오는 10G 링크는 Spine-Leaf 구조의 패브릭을 타고 전달되도록 디자인 했으며, 라우팅이 필요하지 않은 25/100G 트래픽은 Spine 스위치에 직결하는 형태로 구성하였다. 주어진 환경에서 대역폭을 포기하지 않으면서 Spine-Leaf 아키텍처를 구성할 수 있는 적절한 타협점이었다고 생각한다.
또한 7304가 두 대였다면, Leaf에서 양 팔을 벌리는 이중화 구성이 가능했겠지만, 이것을 위해 100G 모듈러 스위치를 한 대 더 구매하는 것은 비용과 전력 소모 면에서 부담이 컸기 때문에 실천에 옮기지 못했다. 약간 아쉬움이 남는 부분이다.
무선랜 AP/컨트롤러
이번에 랩을 재구성하면서 새로 도입한 솔루션이다. HPE Aruba의 솔루션이며, 이번에 설치한 장비들의 모델명은 다음과 같다.
- Aruba 7240 Mobility Controller
- Aruba AP-535 802.11ax Access Point
이 장비들은 엔터프라이즈 무선랜 환경 실습과, Zigbee 기반의 외기 흡기 팬 원격 제어를 위해 사용할 것이다.
타임 서버
[그림 6. M600/GPS의 전면 패널]
랩 내 시간 동기화를 위한 타임 서버는 Meinberg 사의 M600/GPS를 사용한다. 이 모델은 PTPv2를 지원하기 때문에 PTP 기반의 sub-ms 수준의 정밀 시간 동기화도 직접 테스트 해 볼 수 있다.
초기 가동 시 다수의 인공위성으로부터 신호를 수신하였음에도 위치를 초기화하지 못했는데, 수동으로 현재 위치를 설정해 준 뒤 변화를 지켜볼 생각이다.
방화벽
현재는 Fortinet의 FG-60F를 사용중이나, 국내에 정식 발매되는 대로 FG-120G를 구매할 계획이다.
FG-120G는 총 4개의 10G 인터페이스를 지원하기 때문에 Spine 스위치로부터의 업링크를 수용하기에 보다 적합하다.
네트워크 아키텍처 정리
위 내용들을 정리하여 논리적 구조를 도식화 시켜 보았다.
As-Is
[그림 7. As-Is 아키텍처]
아직 구성이 완료되지 않은 상태의 네트워크 아키텍처이다. 방화벽과 Leaf 스위치 사이에서는 Static Routing을 사용하며, 100G 모듈러 스위치는 사실상 독립적으로 동작한다.
Spine-Leaf 아키텍처가 아닐 뿐만 아니라, 테넌트 구조로의 확장 또한 불가능한 상황이다.
To-Be
[그림 8. To-Be 아키텍처]
신규 장비들이 도입되고, 랩이 본격적으로 가동되기 시작하면 eBGP 또는 OSPF를 사용하여 업링크에 대한 라우팅 수준의 고가용성을 확보하고, Spine-Leaf 아키텍처로 이전, 테넌트 환경을 모사할 수 있도록 구성을 변경한다. 테넌트 간 통신은 VXLAN을 이용할 수 있으며, 만약 양 쪽이 모두 NSX를 사용한다면 NSX의 오버레이 네트워크를 경유하여 통신하는 구조도 만들어 볼 수 있을 것이다.
한편, 100G 대역폭이 필요한 서비스들은 이전과 동일하게 모듈러 스위치에 직결되어 L2 통신을 수행한다.
마치며
아직 랩 네트워크의 물리 작업이 약간 남아있고, 무엇보다 FG-120G의 국내 발매 시점이 4월이기 떄문에 To-Be 아키텍처로의 전환에는 어느 정도 시간이 걸릴 것으로 보인다.
개인적으로는 데이터센터 지향적인 아키텍처를 밑바닥부터 쌓아올려 가면서 새로운 인사이트와 경험을 얻을 수 있을 것이라 기대한다.
