머신러닝 모델을 개발하는 것은 비즈니스 가치를 창출하는 여정의 시작일 뿐입니다. 실제로 모델을 프로덕션 환경에 배포하고 지속적으로 모니터링하며 필요에 따라 업데이트하는 과정은 더 많은 도전 과제를 수반합니다. 이러한 도전을 해결하기 위해 등장한 것이 바로 MLOps입니다. 이 글에서는 MLOps의 기본 개념과 데이터브릭스 플랫폼에서 MLOps가 어떻게 구성되고 운영되는지 알아보겠습니다.
MLOps란 무엇인가?
MLOps(Machine Learning Operations)는 머신러닝(ML)과 운영(Operations)을 결합한 용어로, 프로덕션 환경에서 머신러닝 모델이 지속적이고 안정적으로 배포되도록 하는 일련의 관행과 프로세스를 의미합니다. 간단히 말해 MLOps = DevOps + DataOps + ModelOps라고 볼 수 있습니다.
MLOps가 필요한 이유
머신러닝 시스템을 프로덕션 환경에 배포하는 것은 생각보다 복잡합니다. 머신러닝 수명 주기는 데이터 수집, 데이터 준비, 모델 훈련, 모델 조정, 모델 배포, 모델 모니터링, 설명 가능성 등 다양한 구성 요소가 포함되어 있습니다. 또한 데이터 엔지니어링부터 데이터 사이언스, ML 엔지니어링에 이르기까지 여러 팀 간의 협업이 필요합니다.
이러한 복잡한 프로세스를 동기화하고 협력적으로 유지하기 위해서는 엄격한 운영 원칙이 필요하며, MLOps는 이러한 머신러닝 수명 주기의 실험, 반복, 지속적 개선을 포괄합니다.
MLOps의 주요 장점
- 효율성: 데이터 팀이 모델을 더 빠르게 배포하고 고품질의 ML 모델을 제공하며 배포와 프로덕션 속도를 높일 수 있습니다.
- 확장성: 수천 개의 모델을 효과적으로 관리하고 모니터링할 수 있습니다.
- 리스크 완화: 모델의 투명성을 강화하고 규제 검토와 드리프트 검사에 빠르게 대응할 수 있습니다.
MLOps의 주요 구성 요소
MLOps의 범위는 프로젝트의 필요에 따라 달라질 수 있지만, 대부분의 기업에서 MLOps 원칙을 활용하는 주요 분야는 다음과 같습니다:
- EDA(탐색적 데이터 분석): 데이터를 반복적으로 탐색, 공유하고 준비하는 과정
- 데이터 준비와 피처 엔지니어링: 데이터 변환, 집계, 중복 제거 등을 통한 특징 생성
- 모델 훈련 및 조정: 다양한 알고리즘과 하이퍼파라미터를 테스트하여 모델 성능 최적화
- 모델 검토와 거버넌스: 모델 계보와 버전 추적, 아티팩트 관리
- 모델 유추와 서빙: 모델의 프로덕션 환경 배포 및 서비스 제공
- 모델 모니터링: 프로덕션 환경에서의 모델 성능과 데이터 드리프트 추적
- 자동 모델 재훈련: 성능 저하 시 자동으로 모델을 재학습시키는 시스템
데이터브릭스에서의 MLOps 구성
데이터브릭스는 레이크하우스 아키텍처를 기반으로 MLOps를 간소화하는 통합 플랫폼을 제공합니다. 레이크하우스는 데이터 레이크와 데이터 웨어하우스의 기능을 결합한 아키텍처로, MLOps를 위한 이상적인 기반을 제공합니다.
데이터브릭스 MLOps 아키텍처
데이터브릭스의 MLOps 아키텍처는 크게 세 가지 환경으로 구분됩니다:
- 개발 환경(Development): 데이터 과학자가 모델을 개발하고 실험하는 공간
- 스테이징 환경(Staging): ML 엔지니어가 모델과 파이프라인을 테스트하는 공간
- 프로덕션 환경(Production): 검증된 모델이 실제로 배포되고 실행되는 공간
각 환경은 코드, 데이터, 모델에 대한 고유한 의미 체계를 가지고 있으며, 환경 간 전환은 명확하게 정의된 프로세스를 통해 이루어집니다.
데이터브릭스 MLOps 워크플로
1. 개발 단계 (Development Stage)
개발 단계의 초점은 실험입니다. 데이터 과학자는 다음과 같은 작업을 수행합니다:
- 데이터 탐색(EDA): 데이터브릭스 노트북을 사용하여 데이터를 대화형으로 분석하고 시각화
- 코드 개발: Git 리포지토리를 통해 ML 파이프라인 코드 관리
- 모델 학습: 개발 또는 프로덕션 카탈로그의 데이터를 사용하여 모델 훈련
- 모델 평가: 새로 개발된 모델의 성능을 검증
- 코드 커밋: 개발된 코드를 Git 리포지토리에 커밋
데이터브릭스는 AutoML을 통해 기준 모델을 빠르게 생성하고, MLflow를 통해 실험 과정을 추적할 수 있는 기능을 제공합니다.
2. 스테이징 단계 (Staging Stage)
스테이징 단계의 초점은 ML 파이프라인 코드를 테스트하여 프로덕션 준비가 되었는지 확인하는 것입니다:
- 코드 병합: 개발 분기의 코드를 메인 브랜치에 병합하기 위한 PR(Pull Request) 생성
- 단위 테스트(CI): 자동화된 단위 테스트 실행
- 통합 테스트(CI): 모든 파이프라인이 함께 올바르게 작동하는지 확인하는 테스트
- 릴리스 브랜치 생성: 프로덕션 배포를 위한 릴리스 브랜치 생성
데이터브릭스는 이러한 테스트를 자동화하기 위한 CI/CD 통합 기능을 제공합니다.
3. 프로덕션 단계 (Production Stage)
프로덕션 단계에서는 검증된 모델이 실제 환경에 배포되고 모니터링됩니다:
- 모델 학습: 프로덕션 데이터를 사용하여 모델 훈련 및 Unity 카탈로그에 등록
- 모델 유효성 검사: 모델의 품질과 준수 여부를 검증
- 모델 배포: 검증된 모델을 "챔피언" 모델로 승격
- 모델 서빙: REST API 엔드포인트 또는 배치/스트리밍 시스템을 통한 모델 제공
- 모니터링: 모델 성능과 데이터 드리프트 모니터링
- 재학습: 필요 시 모델 자동 재훈련
데이터브릭스의 MLflow Model Registry와 Lakehouse 모니터링은 이러한 프로덕션 프로세스를 간소화합니다.
데이터브릭스 MLOps의 핵심 구성 요소
데이터브릭스 플랫폼은 MLOps를 위한 다음과 같은 핵심 구성 요소를 제공합니다:
-
MLflow: 모델 실험, 추적, 패키징, 배포를 위한 오픈소스 플랫폼
-
Delta Lake: 데이터 레이크에 신뢰성, 성능, 품질을 제공하는 오픈소스 스토리지 계층
-
Unity Catalog: 조직 전체의 데이터, 테이블, 모델, 대시보드에 대한 통합 거버넌스 제공
-
Feature Store: 피처 개발, 공유, 검색, 관리를 위한 중앙 집중식 저장소
-
Databricks 워크플로: ML 파이프라인 오케스트레이션 및 자동화를 위한 도구
-
Model Serving: REST API 엔드포인트를 통한 모델 배포 및 서비스 제공
이러한 구성 요소들은 코드, 데이터, 모델의 공동 관리를 간소화하며, DevOps, DataOps, ModelOps를 통합하는 완전한 MLOps 솔루션을 제공합니다.
MLOps와 LLMOps(대규모 언어 모델)
최근 대규모 언어 모델(LLM)의 등장으로 MLOps는 새로운 도전에 직면하고 있습니다. 데이터브릭스에서는 기존 MLOps와 다른 LLMOps의 특성을 다음과 같이 제시합니다:
- 컴퓨팅 리소스: LLM은 대규모 데이터셋에 더 많은 계산이 필요하며, GPU와 같은 특수 하드웨어가 필수적입니다.
- 전이 학습: 대부분의 LLM은 사전 훈련된 기본 모델에서 시작하여 특정 도메인에 맞게 미세 조정됩니다.
- 사람의 피드백: RLHF(Reinforcement Learning from Human Feedback)와 같은 방식으로 사람의 피드백을 통합하는 것이 중요합니다.
- 초매개변수 조정: LLM에서는 정확도뿐만 아니라 훈련 및 추론 비용과 컴퓨팅 요구사항을 줄이는 데도 중점을 둡니다.
- 성능 지표: LLM 평가에는 BLEU, ROUGE와 같은 전통적인 ML 모델과 다른 메트릭이 사용됩니다.
데이터브릭스는 이러한 LLMOps의 특수한 요구사항을 지원하기 위한 LLMOps 워크플로를 함께 제공합니다.
결론
MLOps는 머신러닝 모델의 개발부터 배포, 모니터링, 재훈련까지의 전체 수명주기를 관리하는 필수적인 프레임워크입니다. 데이터브릭스는 레이크하우스 아키텍처를 기반으로 코드, 데이터, 모델의 통합 관리를 제공하여 MLOps 구현을 간소화합니다.
데이터브릭스의 MLOps 솔루션은 개발, 스테이징, 프로덕션의 세 가지 환경으로 구성되며, MLflow, Delta Lake, Unity Catalog 등의 구성 요소를 통해 종합적인 ML 수명주기 관리를 가능하게 합니다. 특히 MLflow를 중심으로 한 모델 관리 및 전체 ML 파이프라인 관리 기능은 기업이 효율적이고 확장 가능한 ML 시스템을 구축하는 데 크게 기여합니다.
데이터브릭스의 이러한 MLOps 접근 방식은 데이터 사이언티스트, ML 엔지니어, 데이터 엔지니어 간의 협업을 촉진하고, 머신러닝 모델이 실제 비즈니스 가치를 창출하는 시간을 단축시키는 데 중요한 역할을 합니다.
참고 자료:
