현직자와의 대화에서 MLOps에 대한 이야기가 나와 궁금하던 차에 직무탐색을 위한 과정에서도 자주 발견되어 한번 알아보려 한다.
MLOps란?
운영환경에서 머신러닝을 안정적이고 효율적으로 배포하고 유지 관리하는 것을 목표로 하는 방법론이며, 이는 DevOps에서 파생되었다.
단순히 ML 모델뿐만 아니라, 데이터를 수집하고 분석하는 단계(Data Collection, Ingestion, Analysis, Labeling, Validation, Preparation), 그리고 ML 모델을 학습하고 배포하는 단계(Model Training, Validation, Deployment)까지 전 과정을 AI Lifecycle로 보고, MLOps의 대상으로 보고 있다.
아키텍처
머신 러닝 시스템은 아래 8가지 범주로 분류할 수 있습니다.
- 데이터 수집
- 데이터 처리
- 기능 엔지니어링
- 데이터 레이블 지정
- 모델 설계
- 모델 교육 및 최적화
- 엔드포인트 배포
- 엔드포인트 모니터링
각 단계는 따로 구축할 수 있지만, 서로 연결되어 동작해야 합니다. 조직 내에서 머신러닝을 구축하고 확장하는데 최소한의 시스템 입니다.
목표
MLOps 시스템을 통해 머신러닝을 성공적으로 구현함으로써 달성하고자 하는 목표는 여러가지가 있습니다.
- Deployment and automation (배포 및 자동화)
- Reproducibility of models and predictions (모델과 예측의 재현성)
- Diagnostics (진단)
- Governance and regulatory compliance (거버넌스 및 규정 준수)
- Scalability (확장성)
- Collaboration (협업)
- Business uses (업무에 적용)
- Monitoring and management (모니터링과 관리)
이러한 목표를 달성하고자 할떄, MLOps의 방법론을 이용하여 워크플로우를 최적화하고 문제를 방지하는데 도움이 될 수 있습니다.
레퍼런스
다시 도약하려 노력해보자