MLOps 의 프로세스 수준에 대한 내용 정리
Level 0 (수동 프로세스)
이 단계에서는 최첨단 모델을 빌드할 수 있는 데이터 과학자와 ML 연구원이 있지만, ML 모델을 빌드하고 배포하는 과정은 완전히 수동으로 이루어진다.
이는 콘텐츠 성숙도의 기본 수준 또는 수준 0 이하로 간주되며 학습-제공 편향0 이 발생 할 수 있는 구조이다.
Level 0 에서 가능한것
- 수동, 스크립트 기반, 양방향 프로세스
- ML 과 작업 간 연결 해제
- 간헐적인 출시 반복
- CI 및 CD 없음
- 예측 서비스를 의미하는 배포
- 활성 성능 모니터링 없음
다음 수준을 위한 도전과제
- 프로덕션 단계에서 적극적으로 모델 품질 모니터링
- 프로덕션 모델 자주 재학습
- 모델을 생성하기 위한 새로운 구현을 지속적으로 실험
Level 1 (ML 파이프라인 자동화)
ML 파이프라인을 자동화하여 모델을 지속적으로 학습시키는 것입니다. 이를 통해 모델 예측 서비스를 지속적으로 제공할 수 있습니다. 새 데이터를 사용하여 프로덕션 단계에서 모델을 재학습시키는 프로세스를 자동화하려면 파이프라인 트리거 및 메타데이터 관리뿐만 아니라 자동화된 데이터 및 모델 검증 단계를 파이프라인에 도입해야
Level 1 에서 가능한것
- 빠른 실험
- 프로덕션 단계에서 모델의 CT
- 실험-운영 균형
- 구성요소 및 파이프라인의 모듈화된 코드: 소스코드의 모듈화, 구성요소의 컨테이너화
- 모델의 지속적 배포
- 파이프라인 배포(전체 학습 파이프라인의 배포)
- 추가되는 아키텍처
- 데이터 및 모델 유효성 검사: 데이터 검증, 모델 검증
- 특성 저장소
- 메타데이터 관리
- ML 파이프라인 트리거: 요청 시, 일정 기준, 새 학습 데이터의 가용성 기준, 모델 성능 저하 시, 데이터 분포의 중요한 변화 시
다음 수준을 위한 도전과제
- ML 파이프라인의 빌드, 테스트, 배포 자동화 위한 CI/CD 설정 필요
Level 2 (CI/CD 파이프라인 자동화)
데이터 과학자가 특성 추출, 모델 아키텍처, 초매개변수에 대한 새로운 아이디어를 빠르게 살펴볼 수 있습니다. 데이터 과학자는 이러한 아이디어를 구현하고 새 파이프라인 구성요소를 대상 환경에 자동으로 빌드, 테스트, 배포할 수 있습니다.
데이터 분석 단계는 파이프라인이 새 반복의 실험을 시작하기 전에 데이터 과학자가 수행하는 수동 프로세스이며 모델 분석 단계 또한 수동 프로세스이다.
Level 2 에서 가능한것
- 소스 제어
- 서비스 테스트 및 빌드
- 배포 서비스
- 모델 레지스트리
- 특성 저장소
- ML 메타데이터 저장소
- ML 파이프라인 조정자
Level 2 의 CI/CD 자동화된 ML 파이프라인의 단계
- 개발 및 실험
* 출력: ML 파이프라인 단계의 소스 코드이며, 소스 코드는 소스 저장소로 푸시 - 파이프라인 지속적 통합
* 출력: 이후 단계에서 배포될 파이프라인 구성요소(패키지, 실행 파일, 아티팩트) - 파이프라인 지속적 배포
* 출력: 모델의 새 구현이 포함되는, 배포된 파이프라인 - 자동화된 트리거
* 출력: 모델 레지스트리로 푸시되는 학습된 모델입니다. - 모델 지속적 배포
* 출력: 배포된 모델 예측 서비스 - 모니터링
* 출력: 파이프라인을 실행하거나 새 실험 주기를 실행하는 트리거
[1]: 교육 파이프라인과 제공 파이프라인에서 데이터를 처리하는 방법 간의 불일치. 훈련할 때와 예측할 때 사이의 데이터 변경. 모델과 알고리즘 간의 피드백 루프
참고자료
