들어가며
지난 포스팅의 말미에서, 싱글 모드 파이버를 사용한 링크 중 일부에서 포트 플래핑이 일어났으며, 이 문제를 해결하기 위해 파이버 인스펙터를 임대할 수 있는 업체를 찾고 있다는 말을 남겼었다.
그리고, 대략 2주 전에 Fluke Networks 한국 지사의 도움을 받아, 광 케이블 진단 및 청소 키트를 빌릴 수 있었다.
[그림 1. FlukeNetworks 광 케이블 진단 및 청소 키트]
해당 툴킷의 구성품은 다음과 같다.
- Fluke Networks FI-3000 FiberInspector Pro
- Fluke Networks DSX2-8000 Cable Analyzer
- Fluke Networks QuickClean LC/MU Cleaner
- Fluke Networks QuickClean MPO Cleaner
- Fluke Networks NFC-KIT-BOX Fiber Cleaning Kit
- DSX2-8000용 AC 어댑터
이 중에서 진단/검사를 위한 장비는 FI-3000과 DSX2-8000이며, 파이버 청소는 QuickClean Cleaner와 Fiber Cleaning Kit을 사용한다.
광 케이블 검사/분석 도구 소개
FI-3000 FiberInspector Pro
Fiber Inspector는 말 그대로 광 케이블 페룰의 종단면을 검사하기 위한 일종의 현미경이다. 마이크로미터 크기의 오염물질 또는 스크래치를 식별할 수 있는 정도의 해상도를 가지며, 인식된 이미지를 Analyzer에 전송하여 실제로 분석과 진단을 진행한다.
FiberInspector가 일반적인 디지털 현미경과 차별화되는 부분 중 하나는, 여러 종류의 커넥터와 패치 패널을 검사할 수 있도록 적절한 어댑터를 제공한다는 점이다.
FI-3000의 경우, 1.25mm 2.5mm SC/LC APC/UPC, 12/24/16/32 APC/UPC MPO 커넥터용 팁을 사용할 수 있다.
나는 1.25mm LC UPC 팁을 사용하여 LC 싱글모드 파이버의 검사를 수행하였다.
DSX2-8000 Cable Analyzer
개인적으로는 DSX 시리즈 Cable Analyzer가 광 케이블 검사를 지원한다는 점이 인상적이었다.
지금까지 현장에서 케이블 아날라이저를 사용할 때는 TP 케이블만 검사했기 때문에, 광 케이블 검사를 위해서는 별도의 장비(아날리이저)가 필요할 것이라고 미루어 짐작했기 때문이다.
하지만, DSX의 경우 프로파일을 변경한 뒤, Fiber Inspector만 연결하면 광케이블 검사도 함께 수행할 수 있다. 이것은 TP와 광 케이블이 함께 포설된 데이터센터의 케이블 진단/인증을 위해 하나의 장비만 들고 가면 충분하다는 이야기다.
또한, 케이블 아날라이저에 대한 중복 투자를 방지하여 투자 보호의 관점에서도 유리하다고 평가할 수 있다.
[그림 2. DSX2-8000 초기 화면]
DSX2-8000의 전원을 켜면 프로젝트와 검사 방식을 선택할 수 있는 화면이 나온다.
사용자는 현재 진행중인 작업을 프로젝트별로 분류하고, 원하는 표준 규격을 선택한 뒤 테스트를 진행한다.
테스트 결과에는 ID가 메겨지며, 작업이 끝난 뒤 LinkWare와 연결하여 개별 검사 결과를 리포트 형태로 출력할 수 있다. 리포트 기능은 뒤에서 다시 다룰 것이다.
[그림 3. DSX2-8000 테스트 설정]
테스트 설정 모드에서는 테스트에 사용할 모듈과 표준 규격, 그리고 커넥터 유형을 선택할 수 있다.
이번 테스트에서는 FiberInspector Pro 모듈을 사용하며, 싱글 코어 케이블이 IEC 61300-3-35 ED.2 SM RL >= 45dB 규격을 만족하는지 평가한다.
물론, 필요하다면 멀티 모드와 MPO 케이블을 테스트 할 수도 있다.
[그림 4. IEC 61300-3-35 Single Mode Fiber, RL >= 45dB [1]]
다음 링크에서 해당 문서에 대한 샘플을 확인할 수 있는데, 해당 문서의 최신 개정판이 2022년이긴 하지만, 요점을 설명하기에는 무리가 없어 발췌하였다.
위 그림을 보면 싱글 모드 광 케이블을 사용하는 연마된 PC 커넥터, Return Loss 45dB 이상 (=반사율 -45dB 미만)을 충족시키는 조건을 확인할 수 있다.
[그림 5. IEC 61300-3-35의 Single Mode Fiber zone 설명 [2]]
IEC 61300-3-35에서 정의하는 Zone A-D는 코어, 클래딩, 접착면 (Adhesive), 접촉면 (Contact)으로 구성된다.
이 중에서 Adhesive가 생소하게 들릴 수 있는데, 광 케이블의 끝단은 페룰 (Ferrule)과 광섬유를 에폭시로 접착하여 만든다. 만약 에폭시가 적절하게 도포되지 않으면 통신 품질에 영향을 미칠 수 있기 때문에 이 부분에 대한 규격이 별도로 정의된 것이다.
그리고, 멀티모드 파이버와 싱글모드 파이버의 Zone 범위가 서로 다르다는 점을 유의해야 한다.
위와 같이 IEC 61300-3-35 표준에 입각한 검사 작업을 사람이 직접 수동으로 실시할 수도 있겠지만, 개별 광 커넥터마다 수행되어야 하는 작업 특성 상 시간이 굉장히 오래 걸리고, 힘든 일이 될 수 밖에 없다. 그래서 광 케이블 검사를 자동화 할 수 있는 도구가 필요한 것이다.
다시 DSX2-8000의 기능 설명으로 돌아가면, DSX2-8000은 FiberInspector Pro 모듈 외에도 DSX CableAnalyzer, CertiFiber Pro OLTS, OptiFiber Pro OTDR을 지원한다.
그 중에서 DSX-8000 CableAnalyzer 모듈은 최대 CAT.8까지의 UTP/STP 케이블에 대한 Channel Link, Perm Link 테스트를 지원하며, 추가 테스트 파라미터 적용을 위한 PoE, All 프로파일이 존재한다.
사용자는 원하는 테스트를 위한 모듈과 프로파일을 선택한 뒤, 빠르게 작업을 시작할 수 있다.
광 케이블 청소 도구 소개
광 케이블 청소 도구는 크게 Dry와 Wet으로 구분할 수 있다. Dry Clean은 특수 제작된 폴리에스터/면 재질 청소포를 이용해 정전기로 페룰 끝의 오염 물질을 흡착, 제거하며, Wet Clean은 유기 용제 또는 다른 오염 물질로 심하게 오염된 페룰을 청소하기 위해 솔벤트를 사용하는 도구를 말한다.
그림 1의 우측에 보이는 것이 Dry clean 방식의 QuickClean이며, 우상단의 Fiber Optic Cleaning Kit은 Wet clean용 도구 세트이다.
먼지와 같은 대부분의 오염 물질은 Dry clean으로도 충분히 제거할 수 있지만, 만약 케이블의 오염이 심각해 Dry clean으로 제거할 수 없는 경우에는 Wet clean을 시도해야 한다.
QuickClean 1.25mm LC/MU Cleaner
최소 500회 이상의 사용을 보장하는 Fluke Networks의 One-click cleaner이다.
시중에서 동일한 디자인의 중국산 카피 제품을 쉽게 찾아볼 수 있지만, 가급적이면 검증된 성능을 가진 Fluke 정품 클리너를 사용하는 것이 정신 건강에 유익할 것이다.
One-click Cleaner의 사용법은 아주 간단하다. 광 케이블의 경우, 페룰에 까만색 첨단부를 끼운 뒤 '딸깍' 소리가 날 때까지 누른다.
그리고 약 90도 정도를 회전시킨 뒤 한번 더 '딸깍' 소리가 날 때까지 누르면 된다.
패치 패널을 청소할 때는 하늘색 가이드 캡을 끼우고, 뚜껑을 연 다음 패치 패널의 포트에 대해 똑같은 작업을 반복하면 된다.
NTT-AT Neoclean이나, US Conec의 One-click Fiber Cleaner의 사용법도 동일하니, 참고해 두면 좋을 것이다.
다만, One-click Cleaner로 트랜시버를 청소해도 되는지에 대해서는 다소 모호한 면이 있다.
Fluke Networks QuickClean의 매뉴얼에서는 트랜시버 청소에 대한 긍정도, 부정도 찾을 수 없었지만, NTT-AT Neoclean의 매뉴얼에서는 '트랜시버나 광학 장비의 렌즈를 대상으로 사용하지 마십시오'라는 경고문을 확인할 수 있었다.
[그림 6. NTT-AT Neoclean-F 매뉴얼 중 발췌 [3]]
따라서, One-click cleaner는 기본적으로 파이버와 패치 패널의 페룰을 청소하기 위한 도구라고 보면 좋을 것 같다.
NFC-KIT-BOX Fiber Cleaning Kit
[그림 7. Fluke Networks NFC-KIT-BOX Cleaning Kit]
NFC-KIT-BOX는 총 4가지 도구로 구성되어 있다.
- Wet clean을 위한 솔벤트 펜
- Fiber Optic Cleaning Cube
- 2.5mm 면봉
- 5장의 Fiber optic cleaning card
이 중에서 솔벤트 펜은 모든 경우에 사용되며, 청소하고자 하는 단면의 종류와 오염 정도에 따라 Cleaning cube, 면봉, cleaning card를 사용해야 한다.
가장 먼저, 대부분의 경우에 적합한 Cleaning cube를 사용하는 방법은 다음과 같다.
- Cleaning cube의 wipe에 적절한 양의 솔벤트를 도포한다.
- 페룰의 끝을 Cleaning cube의 wipe 면에 대고 'S'를 그리면서 2-3회 문지른다.
- 솔벤트가 증발한 뒤 Fiber inspector로 오염 물질이 제거되었는지 확인한다.
Cleaning cube의 wipe는 최소 4개의 페룰을 청소할 수 있으며, 적절한 횟수만큼 사용한 뒤에는 교체되어야 한다.
Cleaning cube는 총 125장의 wipe를 가지고 있으므로, 최소 500개의 페룰을 청소할 수 있다.
만약, Cleaning cube를 사용해도 문제가 해결되지 않을 경우에는 Cleaning card 를 사용해야 한다.
Cleaning card의 사용법은 다음과 같다.
- Cleaning card의 wipe에 최소한의 솔벤트를 도포한다.
- 페룰의 끝을 Cleaning card의 단면에 대고 N 또는 Z를 그리면서 문지른다.
- 솔벤트가 증발한 뒤 Fiber inspector로 오염 물질이 제거되었는지 확인한다.
클리닝 카드의 wipe는 재사용 할 수 없으며, 하나의 클리닝 카드는 총 12개의 wipe를 가지고 있다. 즉 5-pack의 cleaning card는 총 60개의 페룰을 청소할 수 있다.
면봉은 다른 클리닝 툴이 닿지 못하는 곳이나, 트랜시버의 Wet clean을 위해 사용할 수 있다. 이 경우 면봉의 머리에 솔벤트를 적절하게 도포한 뒤 청소를 원하는 부분을 닦아주면 된다.
이 청소 도구들은 모두 보풀이 발생하지 않는 55% 셀롤로오스, 45% 폴리에스테르 소재로 제작되었으며, 적절하지 않은 소재의 청소면을 사용할 경우 페룰에 영구적인 스크래치를 일으키거나, 청소된 단면에 추가적인 오염물질을 남길 수 있으니 주의해야 한다.
광 케이블 검사 및 청소
다음으로는, 실제로 FiberInspector와 DSX2-8000을 이용해 싱글모드 LC 광 케이블의 접촉면을 검사하고, 표준 규격에 미달할 경우 청소를 진행해 보았다.
Arista DCS-7304의 포트 중 8개가 지속적으로 연결 불량을 일으키고 있었으므로, 이 포트들을 검사 및 청소하는 것을 목표로 작업을 진행하였다.
스위치 단과 서버 단의 광 케이블 페룰을 각각 청소해야 했으므로 최소한 48번의 검사가 필요할 것으로 생각되었고, 패치 패널은 Inspect 할 수 없었기 때문에 해당하는 포트들을 One-click cleaner로 청소해 주었다.
광 케이블 검사
[그림 8. DSX2-8000과 연결된 FI-3000]
광 케이블 검사를 위해서는 FI-3000을 USB-C to USB-A 케이블로 DSX2-8000에 연결해 주어야 한다.
DSX2-8000이 Wi-Fi를 지원하는 경우에는 원격으로도 연결할 수 있지만, 동선이 길지 않은 점과 배터리 러닝 타임 문제를 고려하여 유선으로 작업하기로 하였다.
DSX2-8000에 FI-3000을 연결한 뒤 전원을 켜면 DSX2-8000이 자동으로 FI-3000을 인식하고 테스트를 진행할 준비를 마친다.
이 때 초기 화면에서 적절한 프로젝트와 테스트 프로파일이 선택되었는지 확인하고, DSX2 화면의 '검사' 버튼 또는 FI-3000의 'TEST' 버튼을 누르면 Preview 화면을 띄운 뒤 자동으로 초점 정렬 및 분석 작업을 시작한다.
[그림 9. 싱글 모드 케이블 검사 결과]
문제를 일으키던 포트 중, 서버 쪽 케이블을 검사했더니 예상보다 많은 오염이 확인되었다.
해당 케이블의 경우, 신품을 뜯어 보호 마개를 분리한 뒤 바로 장착했음에도 이 정도의 오염이 확인되었는데, 이는 대부분의 케이블 제조사들이 케이블 보호 마개를 깨끗하지 않은 환경에서 생산하여 최종 조립 공정에서 광 케이블과 결합하기 때문이다.
오염 물질은 서로 맞닿은 접촉면 사이에서 이동할 수 있으며, 광 케이블의 경우 설령 보호 마개가 달린 신품 케이블이라도 검사와 청소 작업이 필수적이라고 말할 수 있다.
[그림 10. 싱글 모드 케이블 청소 후]
QuickClean을 이용하여 Dry clean을 1회 진행한 뒤 다시 Inspector로 해당 케이블을 찍어보자 대부분의 오염물질이 제거된 것을 알 수 있다.
하지만, 여전히 IEC-61300-3-35의 기준에는 미달한다. 광 케이블 코어에 오염 물질이 하나 있으며, 클래딩에 5μm 크기 이상의 오염 물질 하나가 있기 때문이다.
그리고 DSX2-8000은 검사 결과의 화상 외에도 어떤 defect 때문에 표준 규격에 미달한 결과를 얻었는지를 정확한 수치로 보여준다.
[그림 11-12. Defect의 시각화 및 수치화]
이 케이블의 경우 D Zone에서 10μm 이상의 defect 7개가 발견되었기 때문에 검사에 실패했다는 것을 알 수 있다.
Defect와 Scratch는 비전 인식을 통해 구분하는 것으로 보이며, 주로 길쭉하게 이어진 모양을 Scratch로 구분하였다.
클리닝 관점에서 이 둘을 구분하는 것은 중요한데, 대부분 오염 물질인 defect와 달리, scratch는 광 커넥터의 페룰 자체가 손상되었다는 의미이기 때문에 광 케이블 청소 대신 교체를 진행해야 한다.
하지만, 앞서 말했듯이 단순히 길게 이어진 모양을 scratch로 판단하기 때문에 실제로는 청소 작업을 몇 번 시도해 보고, 그래도 defect가 사라지지 않으면 광 케이블 손상으로 판단하는 것이 적절할 것 같다.
[그림 13. 싱글 모드 케이블 청소 완료]
그 뒤로 두 번 정도 동일한 케이블을 청소하고 나서야 Pass를 얻을 수 있었다.
실제로 이 작업을 해보면 굉장히 반복적이고 지루한 일이라는 것을 알 수 있는데, 기본적으로 파이버는 한 쌍을 사용하며, 서버와 스위치가 직결되더라도 최소한 포트당 4번의 작업을 수행해야 하기 때문에 피로감이 많이 쌓일 수 밖에 없다.
실제로는 Pass가 뜰 때 까지 N회를 반복해야 하기 때문에, 자동화된 검사 도구가 없었다면 엄두조차 내지 못했을 일이다.
문제 해결
이렇게 총 8개의 포트를 대상으로 청소 작업을 끝낸 뒤, 다시 스위치를 확인해 보았을 때 2개의 포트를 제외한 나머지 6개 포트들의 상태가 정상으로 돌아왔다.
[그림 14. 링크 플래핑을 일으키는 6번 포트]
여전히 포트 플래핑을 일으키던 2개의 포트가 NIC 하나에 연결되어 있었기 때문에, 처음에는 NIC 불량을 의심했지만, 곧 새로운 문제를 확인할 수 있었다.
[그림 15. 모듈 과열로 인해 셧다운 된 포트]
[그림 16. Intel CWDM 100GbE 싱글모드 모듈의 작동 온도]
그 원인은 바로 모듈 과열이었는데, 내가 구매한 인텔 싱글 모드 트랜시버의 경우, Rev 1의 최대 작동 온도가 최대 58도까지였기 때문에, 서버 쪽 트랜시버의 온도가 59도를 찍는 순간 모듈이 셧다운되어 링크가 떨어지고, 다시 온도가 내려가면 붙는 동작을 반복했던 것이다.
일반적인 트랜시버의 작동 허용 온도가 최대 70~80도인 점을 감안하면 아주 낮은 동작 온도이며, Rev 2에서는 최대 작동 온도가 80도로 올라갔다고 하니, 싼 물건에는 이유가 있는 것 같다. 만약 이베이에서 100GbE 싱글 모드 트랜시버를 구매하려고 하는 사람이 있다면, 트랜시버 냉각 문제를 확실히 고려해야 할 것이다.
해당 NIC이 장착된 서버가 1U인 점을 고려하여 2U 대비 에어플로우가 부족해서 생긴 문제로 판단하였고, 서버의 Fan speed를 60%로 고정한 뒤 문제가 해결되었다.
결론
개인용으로 광 케이블 기반 네트워크 구성, 특히 싱글 모드 파이버를 사용하는 것이 쉽지 않다는 것을 알 수 있었다.
멀티 모드 파이버 대비 싱글 모드 파이버가 오염과 꺾임에 보다 민감한 특성이 있으며, 적절한 진단 도구 없이 이러한 문제를 제대로 파악하고 검증하는 것이 불가능하기 때문이다.
그리고 이번 포트 플래핑 건은 파이버 오염과 트랜시버 과열 이슈가 복합적으로 작용하여 생긴 문제였으며, 이 문제를 해결하는 과정에서 광 네트워크의 물리 레이어 이슈를 확인하고, 검증하는 방법을 제대로 배울 수 있어서 만족스러웠다.
앞으로 비슷한 일이 다시 일어난다 하더라도 이번의 경험을 토대로 시행착오를 크게 줄일 수 있을 것이다.
번외 - 케이블 테스트 리포트
케이블 테스트 리포트를 추출하려면 먼저 PC에 LinkWare를 설치한 뒤, PC와 DSX를 연결해야 한다.
나는 Wi-Fi를 이용해 DSX와 PC를 연결했으며, DSX를 PC와 같은 Wi-Fi에 연결한 뒤, LinkWare의 [Options - Device IP Address...] 메뉴를 선택하여 DSX가 할당받은 IP를 입력한다.
[그림 17. LinkWare Device IP 설정]
그리고 [File - Import - DSX CableAnalyzer] 를 선택하면 다음과 같은 화면을 볼 수 있다.
[그림 18. Import Test Records]
Select Records To Import 버튼을 선택, PC로 가져오고 싶은 테스트 결과를 선택한 뒤 Import 하면 다음과 같은 화면을 볼 수 있다.
[그림 19. Imported Test Records]
[그림 20. PDF Exported Test Result]
마지막으로 테스트 결과들을 PDF로 Export 하면 위 사진과 같은 결과물을 얻을 수 있다.
여러 개의 테스트 결과를 하나의 파일로 Export 할 수 있으며, Fiber Inspector로 촬영한 이미지와 Defect들을 개별 테스트 케이스별로 보여주기 때문에, 작업 결과를 증빙하기 위한 기본 자료로 즉시 활용할 수 있다.
레퍼런스
[1] IEC 61300-3-35:2015 Sample Document
[2] Fiber Inspection Technical Poster - EXFO
[3] NEOCLEAN-F serises User's Manual
