데이터를 기반으로 머신러닝 모델을 개발하고 서비스를 배포했을 때 배포한 서비스가 원래의 의도대로 잘 진행되고 있는지 모델을 지속적으로 모니터링하는 과정이 필요합니다.
많은 머신러닝 모델들은 데이터의 i.i.d (independent identical distribution, 데이터가 서로 독립이고 동일한 확률 분포를 따름)을 가정하기 때문에 머신러닝 모델의 성능은 데이터의 확률 분포 변화에 민감합니다.
하지만 일반적으로 데이터의 패턴은 시간이 지남에 따라 변화하기 때문에 머신러닝 모델은 기존에 학습하지 못했던 분포의 데이터를 입력값으로 받게 됩니다.
이러한 변화로 인해 모델의 성능이 떨어지는 현상을 Model Drift라고 합니다.
Model Drift
머신러닝 모델이 배포된 이후 시간이 지나면서 성능이 저하되는 현상
Model Drift의 유형
Data Drift
Data Drift는 입력 데이터 분포에 유의미한 변화가 생겨 학습된 모델이 더이상 새로운 데이터를 잘 설명하지 못하는 현상을 말합니다.
다음과 같이 시간이 흐름에 따라 데이터의 분포에 유의미한 변화가 생기게 되면 새로운 피처 공간을 다루게 되면서 모델의 성능이 크게 떨어질 수 있습니다.
Data Drift가 발생한 경우 새로운 데이터로 모델을 다시 학습시키거나 새로운 Segment에 맞춰 모델을 다시 구축해 해결할 수 있습니다.
Concept Drift
Concept Drift는 Data Drift와 다르게 입력 데이터의 분포가 아닌 입력과 출력 데이터 사이의 관계가 변화한 상황을 말합니다. 즉, 우리가 모델로 예측하고자 하는 대상 자체가 변화한 경우입니다. Concept Drift에는 다음과 같은 유형이 있습니다.
Gradual Concept Drift외부 환경이나 현상이 점진적으로 변화하면서 모델이 학습한 패턴이 서서히 유효하지 않게 됩니다. 개별 변화는 크지 않지만, 시간이 지나면서 누적되어 모델 성능이 저하될 수 있습니다.
Sudden Concept Drift는 Gradual Concept Drift보다 패턴이 갑작스럽게 변화합니다.
REFERENCE
Machine Learning Monitoring, Part 5: Why You Should Care About Data and Concept Drift
