Orchestrator 이론

오케스트레이터란?

• 다수의 컨테이너를 조정하고 관리하는 시스템
• 컨테이너의 배포, 스케일링, 네트워킹을 자동화하는 기술
• 목적: 높은 가용성, 확장성, 신뢰성을 가진 시스템 구축
• 오케스트라 지휘자가 여러 연주자를 관리하듯, 오케스트레이터는 다수의 컨테이너를 관리

오케스트레이터의 주요 기능

• 자동 배포 및 관리: 사용자가 정의한 설정에 따라 컨테이너 자동 배포 및 실행
• 스케일링 및 로드 밸런싱: 트래픽 변화에 따라 컨테이너 수 자동 조절
• 자동 복구 및 장애 대응: 오류 발생한 컨테이너 감지 및 자동 복구 조치
• 서비스 발견 및 네트워킹: 컨테이너 간 통신 및 서비스 발견 관리
• 업데이트 및 롤백 관리: 애플리케이션 안전 업데이트 및 필요시 롤백 기능 제공

오케스트레이터 활용 사례

• 대규모 머신러닝 파이프라인 관리
  • 예: 대형 기술회사에서 데이터 처리, ML 모델 트레이닝 및 배포 파이프라인 구축
  • Kubernetes를 사용하여 전체 파이프라인 자동화
• 실시간 데이터 처리 및 분석
  • 예: 금융 서비스 회사의 실시간 시장 데이터 분석 시스템
• 다양한 머신러닝 모델의 동시 트레이닝 및 배포
  • 예: 추천 플랫폼에서 여러 ML 모델 동시 관리
• 대규모 분산 모델 트레이닝
  • 예: 의료 이미지와 같은 대규모 데이터에 대한 빠른 학습을 위한 분산 트레이닝

MLOps에서 오케스트레이터의 중요성

• 복잡한 워크플로우 관리: ML 프로젝트의 다양한 단계를 자동화
• 리소스 최적화: 자동 스케일링과 로드 밸런싱으로 비용 효율적 운영
• 시스템 신뢰성 향상: 고가용성 및 복구 메커니즘 지원
• CI/CD 지원: 머신러닝 모델의 지속적 통합 및 배포 가능

YAML 파일 구조 (Appendix)

• YAML Ain't Markup Language: 데이터 직렬화 언어
• 구성 파일, 데이터 교환, 설정 파일 등에 널리 사용
• 특징:
  • 가독성이 좋음: 인간이 읽기 쉬운 형태
  • 계층적 구조: 들여쓰기를 사용한 데이터 계층 표현
  • 다양한 데이터 타입 지원
  • 멀티 도큐먼트 지원
• JSON, XML과 비교:
  • YAML: 가독성 우수, 설정 파일에 적합
  • XML: 복잡한 문서 구조에 적합
  • JSON: 웹 API에 주로 사용, 파싱 속도 빠름
• 인프라 도구(Kubernetes, GitLab CI 등)에서 널리 사용됨