이상 탐지 문제해결 프로세스
1. 정상(normal) 데이터 정의
- 정상데이터란 특별한 이상이 없는 정상적인 데이터, 이상(abnormal)이라고 정의된 데이터 이외에 데이터
- 제조 도메인 : 제품의 명확한 Spec이 존재하기 때문에, Spec안에 위치한 정상 제품의 데이터
- 금융 도메인 : FDS 시스템에 검출 되지 않는 일반적인 거래 데이터
- 게임 도메인 : 블랙리스트 및 버그 의심 유저를 제외한 일반 유저들의 Play Data
2. 이상(abnormal) 데이터 정의
- 이상(abnormal) 데이터란 사전에 감지하고 싶은 이상 데이터
- 제조 도메인 : 고장이 발생하기 전 이상을 탐지하는 것이 주 목적이기 때문에 Spec 상, 하한치에 근접해 있는 제품 / 시계열 센서 데이터의 경우 오차범위를 지정하고 오차 범위 진입 시 이상으로 판단한다.
- 금융 도메인 : 스코어링 및 룰 기반 이상 데이터 정의
(*스코어링, 룰 개념 https://velog.io/@jjong2961/Anomaly-Detection3 / 금융파트) - 게임 도메인 : 사전에 탐지된 버그 및 어뷰징 유저의 사용 패턴.
3. 데이터 수집 및 추출 과정 오류 확인
※이상 탐지의 목적은 이상치를 사전에 빠르게 찾아야 하는 것이 주된 목표이다.※
- 데이터 적합성 검증 : 수집 및 추출/변환 과정에서 오류가 없었는지 확인할 것.
- 데이터 ETL 과정에서 각 단계별 이슈를 확인 할 것.
(Extract : 추출 / Transform : 변환 / Load : 로드)
4. Outlier Detection
- Data type, Data Label, Train Data
- 학습 유형 : Supervised Learning, Semi-Supervised Learning, Unsupervised Learning
- 패턴 유형 : Outlier Detection, Novelty Data
- 데이터 유형 : Univariate Data, Multivariate Data
- 데이터 종류 : Time-Series, Non-Time_Series Data
5. 평가 방법 선정
- Scoring 평가 : Threshold의 수준에 따라 경고의 수준을 전달
- Prediction 평가 : Threshold를 설정하여 Normal(1), Abnormal(0)을 구분하여 전달.
- 민감도 설정 : 민감도 설정에 따라 탐지하는 이상의 개수와 Point가 달라진다.
6. 모니터링 및 대응 프로세스 수립
- 이상을 감지하기 위한 현업 모니터링 시스템 설계 ex)대시보드, Slack 알람, e-mail 알람 등..
- 이상 감지 후 점검하기 위한 현업 Action 프로세스 설계 ex) 유선 확인, 전문가 점검, 주요 지표 수치 확인 등..
- False Alarm(오탐지) 이벤트에 대한 대응체계 마련해야 함!!
- 정상 데이터 패턴 변화에 대응하기 위한 재학습 체계 수립.
※ 정상 데이터 패턴 변화에 대해서도 인지해야 한다. 즉, 현업에서 변경되는 프로세스를 파악하는 것이 중요하다.※
please bbbbbbbbb 😂