들어가며
추석 이전에 전반적인 재포설 작업을 마무리하는 것이 목표였으나, 크게 두 가지 이유 때문에 작업이 미뤄졌다.
하나는 PTP 구성을 위한 100M 트랜시버 테스트이고, 다른 하나는 25G 트랜시버의 호환성 테스트이다.
먼저, 현재 랩에서 보유 중인 PTPv2 지원 타임서버인 Meinberg Lantime M600/GPS는 최대 100Mbps까지의 링크 속도를 지원한다.
하지만 Arista 7200 Serise 라인 카드는 100Gbps QSFP28 포트를 사용하기 때문에, 이 포트에 100Mbps RJ-45 케이블을 꽂을 수 있는 방법이 필요했다.
다행히도 해당 라인 카드는 100Mbps Full-Duplex를 지원하였기 때문에 트랜시버를 적절하게 변환해 줄 물건만 있으면 사용할 수 있을 것으로 보였다.
[그림 1. 7300X3 시리즈 라인 카드의 지원 전송 속도]
그래서 Mellanox MAM1Q00A-QSA 어댑터를 이용해 SFP 모듈을 사용할 수 있을 것이라고 생각했으나, 기존에 사용 중이던 1G 트랜시버로 테스트를 수행한 결과, 1G Full로는 통신이 가능하지만 100Mbps로 속도를 낮출 경우 '트랜시버에서 지원하지 않는 속도' 라는 경고를 띄우면서 링크가 올라오지 않았다.
나는 해당 경고문을 토대로 멜라녹스 컨버터가 1Gbps 모듈을 제대로 변환하지 못하는 문제일 수 있다고 추정했고, 100Mbps RJ-45 모듈을 구입하여 테스트를 진행하는 것으로 방침을 결정하였다.
다음으로, 25G SFP28 모듈의 경우, 원래는 ZTE의 SFP28 모듈을 사용하기로 했으나, 실제로 스위치와 서버에서 테스트를 진행하자 정상적으로 동작하지 않았다.
[그림 2. ZTE 트랜시버 연결 오류 - Bad Signal Integrity]
또한, 스위치에서 트랜시버의 EEPROM 정보를 덤프했을 때, 트랜시버가 지원하는 표준과 기능을 나타내는 옵션 플래그들이 모두 0x00으로 설정되어 있어 스위치가 트랜시버를 제대로 인식하지 못하는 문제가 확인되었다. 그래서 해당 트랜시버인 RTXM330-204의 Compliance 정보를 바탕으로 트랜시버를 재기록하는 방안을 추진했으나.. 결과적으로 트랜시버의 제조사 패스워드 크래킹에 실패하여 실제로 테스트를 해 볼 수는 없었다.
SFP 리플래싱에 대해서는 향후 다른 포스팅에서 다룰 기회가 있을 것이다.
Compliance (A0h:3-10,36): 0x00 00 00 00 00 00 00 00 00
10G (A0h:3): None
Infiniband (A0h:3): None
Ethernet (A0h:6): None
Fibre Channel (A0h:7-10):
Link length (A0h:7): None
Transmitter technology (A0h:7-8): None
Transmission media (A0h:9): None
Speed (A0h:10): None
SFP+ technology (A0h:8): None
Extended (A0h:36): unspecified
[첨부 1. ZTE 트랜시버의 EEPROM 덤프 데이터]
해당 트랜시버를 대체하기 위해 화웨이 트랜시버를 추가로 구매했고, 새로 구매한 트랜시버도 정상이 아닐 가능성이 있었기 때문에 검증을 위해 우선 4개를 먼저 주문하였다.
그리고 이 물건들이 설 연휴 이후에 도착했기 때문에, 실제 테스트와 포설 작업의 일정이 늦어질 수 밖에 없었던 것이다.
100Mbps 트랜시버 테스트
QSFP28 to SFP 변환 테스트를 위해 구매한 트랜시버는 Source Photonics의 SP-FE-TX-CNFB-HW1이다.
[그림 3. 멜라녹스 어댑터에 결합된 100Mbps SFP RJ-45 모듈]
이 트랜시버는 10/100Mbps Fast Ethernet을 지원하기 때문에, 적어도 SFP 모듈의 지원 문제로 인해 이슈가 생기지는 않을 것이다.
[그림 4. QSFP to SFP 100Mbps 변환 테스트 결과]
그리고 Arista 7050QX 스위치에 연결하여 100Mbps 속도를 지정하였으나, 기존과 동일하게 지원하지 않는 속도라는 경고와 함께, 트랜시버 정보가 올라오지 않았다.
이 트랜시버를 SFP+ 포트에 연결하였을 때는 정상적으로 동작하였으므로, MAM1Q00A-QSA 어댑터의 최소 지원 속도가 1Gbps일 것으로 추정된다.
이렇게 하여 QSFP28 포트를 100Mbps RJ-45로 변환하는 플랜은 실패했지만, 불행 중 다행히도 DCS-7304 슈퍼바이저 모듈의 이더넷 인터페이스 구성 메뉴에서 PTP 관련 옵션이 확인되어, PTP 구성은 슈퍼바이저 모듈의 설정을 더 들여다 볼 예정이다.
25G SFP28 화웨이 트랜시버 테스트
25G SFP28 모듈 테스트의 경우, 2-step의 테스트를 거쳐야 했다. 25G 네트워크 설계가 QSFP28을 MPO-8로 Breakout 하여 서버와 연결하는 디자인이었기 때문에 SFP28 트랜시버는 서버의 NIC (내 환경에서는 Mellanox CX-4)과, 스위치 단의 100GBASE-PSM4 MPO 모듈과 동시에 호환되어야 한다.
100G PSM-4가 8개의 파이버를 이용하여 1310nm 파장의 4-lane 광 신호를 주고받기 때문에, 마찬가지로 1310nm 파장을 사용하는 25G SFP28 LR 모듈과 호환되어야 하지만, 광 트랜시버가 늘 그렇듯이 표준이 서로 일치한다고 해서 항상 동작하는 것은 아니기 때문에, 실제 환경에서 테스트를 해 보기 전까지는 확답할 수 없었다.
나는 트랜시버의 불량 가능성을 고려하여 총 4개의 트랜시버를 구매했고, 그 중 2개의 트랜시버를 가지고 다음과 같은 테스트를 진행하였다.
- NIC 인식 및 루프백 테스트 (NIC 호환성 검증)
- 100GBASE-PSM4 연결 테스트 (트랜시버 호환성 검증)
먼저, NIC 테스트는 하나의 NIC 카드에 두 개의 트랜시버를 꽂고, 링크가 올라온 상태로 계속 유지되는지 24시간 가량을 모니터링 하였다.
[그림 5. NIC 링크 테스트]
두 트랜시버 모두 24시간 동안 링크 플래핑을 일으키지 않았으므로, 트랜시버와 NIC의 PHY Layer가 정상적으로 동작한다는 확신을 가질 수 있었다.
다음으로는 실제로 DCS-7304에 트랜시버를 연결하고, 마찬가지로 링크가 지속적으로 유지되는지 확인하였다.
[그림 6-7. PSM4 - 25G LR 링크 테스트]
테스트 결과, 문제 없이 25G 링크가 유지되는 것을 확인할 수 있었고, 트랜시버 간 호환성을 검증할 수 있었다.
그리고 이 결과를 바탕으로 교체용 예비를 포함한 트랜시버 16개를 추가 주문했고, 현재 배송을 기다리고 있다.
매니지먼트 네트워크 및 스위치 재구성
[그림 8. 매니지먼트 스위치의 포트 맵]
한편, 이번에 네트워크를 재구성하면서 주먹구구식으로 구성했던 매니지먼트 네트워크를 다시 구성하게 되었다.
한번 해 보고 싶다는 이유로 vSphere 매니지먼트 네트워크를 MLAG로 구성한 과거의 선택을 반성하며.. 전체 클러스터 셧다운 후 MLAG 해제와 스위치 재구성 작업을 진행하였다.
그리고 클러스터를 내린 김에 매니지먼트 스위치의 포트 맵도 새롭게 작성하였는데, 그 결과물은 위와 같다.
매니지먼트 스위치는 vSphere 내부망용 스위치와 달리 여러 목적의 서버들이 사용하기 때문에 범례가 많이 늘어났으나, 큰 틀은 바뀌지 않았다.
서버의 관리 인터페이스는 이중화하되, OOBM은 두 스위치에 나누어서 구성한다는 것. 다만, NVMe 스토리지의 관리 인터페이스는 이중화되어 있지 않은 것이 흠이다.
그리고 100G 스위치로 넘어가면서, 내부 네트워크 대역폭의 활용도를 최대한으로 높이기 위하여 vMGMT VLAN을 100G 스위치에서 구성하기로 했다.
하지만, vMGMT에 속한 VM들은 대부분 WAN Outbound가 필요하기 때문에, 다른 팀원들의 요구사항을 고려하면 하나의 스위치에서 여러 개의 default route를 구성해야 하는데, 이를 위해 VLAN 기반의 VRF를 사용하기로 결정했다.
마치며
현재는 변경된 네트워크 구성에 맞추어 방화벽 규칙을 재구성하고, Arista 스위치에서의 VRF 구성을 PoC 하고 있다.
본래 예정되었던 케이블 포설 포스팅은 아마도 25G 트랜시버가 도착한 뒤, 패치 패널을 설치하면서 올리게 될 것 같다.
지난 번 포스팅 이후로 상당한 시간이 흘렀지만, 연휴가 끼어 있었다는 이유로 놀기만 한 것은 아니고, 구축을 위한 검증과 밑작업을 하는 데 예상보다 시간이 더 걸렸다고 생각해 주면 좋겠다.
다음 포스팅은 방화벽 재구성 결과와 케이블 포설, 그리고 Arista 스위치의 VRF 구성을 다루게 될 것이다.
