🚩딥러닝 기초 - part17. 이상 상황 탐지 Anomaly Detection

Introduction

이상탐지(감지)란 무엇인가?

• 예상되지 않은 ㅍ턴을 데이터에서 찾아내는 것
• 정상과 비정상을 구분해내는 것
• 비정상, 특이, 이상치 라는 용어를 사용한다.

이상 데이터의 종류

Global outlier

• 직관적으로 떠오르는 정상 상태와 구분되는 특이한 값
• 일반적인 관측치들과 상당히 동떨어진 관측치들을 의미
• 얼마나 떨어져 있는가를 어떻게 측정할 것인가가 문제
  

Contextual outlier (local outlier)

• 특정 부분에서 다른 부분과는 다른 양상을 띄는 이상치
• ex.) 알레스카의 기온 30도, 사하라의 기온 30도
• 관측된 값들의 Context를 어떻게 설정하는지가 중요
  

Collective outlier

• 데이터를 전체 집단적(Collective)으로 보았을 때, outlier(이상치)라는 것.
• 가장 찾기가 어려운 abnormal data이다.
  

이상 탐지가 어려운 이유

1. 정상과 데이터를 정확하게 구분하기 어렵다.

• 이상 여부를 정확히 판별하기 위해서는 많은 양의 전문적인 지식이 필요.
• 이에 따른 시간과 비용의 소모가 큼
• 정상과 이상의 경계가 불분명한 부분이 있음.

2. 데이터의 불균형

• 대부분의 경우 이상데이터가 정상 데이터보다 훨씬 부족하다.

3. 데이터마다 이상/정상의 구분이 다름

• 각 도메인(data pool)마다 이상 데이터의 패턴, 성향이 다르고 정의 또한 다름

Classificatin VS. Anomaly Detection

Classification

정상 데이터, 이상 데이터를 모두 학습시킨 뒤, 이 둘을 분류해낸다.

Anmaly Detection

정상 데이터만을 가지고 학습시키고, 만일 정상 데이터가 아닌 데이터가 접근 시, Abnormal함을 감지해낸다.

어떤 걸 사용해야할까?

1. 데이터 셋의 클래스가 불균형한가?
   -> 불균형하지 않고 고르다면 Classification

2. 불량 데이터의 개수가 충분한가?
   -> 불량 데이터의 개수가 몇개 없다면, Anomaly detection

그림으로 보는 둘의 차이

따라서 이상 탐지란 정상 데이터만으로 학습하여, 정상데이터의 영역을 구성하고 이를 벗어나면 비정상으로 분류한다.

이상 탐지를 학습하는 방법

1. Supervised Learning

주어진 학습 데이터 셋에 정상 sample과 비정상 sample의 data와 label이 모두 존재.

2. Semi-Supervised Learning

• Supervised Learning의 클래스 불균형을 해결하기 위해서 나온 방법
• 오직 정상 sample을 통해서만 모델을 학습하는 방식

3. Unsupervised Learning

• Labeling이 되어있지 않은 데이터에서, 대부분의 데이터가 정상이라고 가정하고 학습시키는 방법.

학습 후 이상 탐지를 하는 방법

1. PCA

차원 축소 후 복원과정을 통해서 비정상 Sample을 검출한다.

2. Autoencoder

encoder로 축약시키고 정상처럼 재 복원(decoder)시켰을 때 결과의 차이가 어느정도 나는가?

encoding는 흔히말해 압축이다. decoding은 복원 즉 압축해제라 생각하면 된다.
Autoencoder는 정상 데이터만을 이용해서 학습을 진행한다는 것이 특징이다.

How?

정상 데이터만을 이용해서 학습을 진행하면 오토인코더는 data가 들어왔을 때, 정상을 기준으로 복원하도록 되어있을 것이다.
따라서 정상을 넣는 경우 encoding 후 decoding을 수행하더라도 그대로 복원이 된다.

허나 이러한 Autoencoder에 비정상 데이터가 들어가게 되면 어떻게 될까?
비정상은 어떻게 복원해야하는 지 학습되지않았다. 따라서 비정상 또한 마치 정상"처럼" 디코딩 되어 나올 것이다.
그렇게 되면 결과적으로 encoding을 수행하기 전 Input영상 $x$와 encoding 이후 decoding되어 나온 결과 영상 $x'$는 서로 차이를 보일 것이다.
이렇게 비정상 데이터를 검출해내는 것을 Autoencoder라고 한다.

시계열 데이터

시계열 데이터란?

관측치가 시간적 순서를 가진 데이터 셋의 집합

• 센서, edge devices등 산업 전반의 다양한 도메인에서 발생하는 데이터
• 최근 시계열 데이터를 발생시키는 어플리케이션의 증가로 시계열 데이터의 이상 탐지에 대한 수요가 증가.

시계열 데이터의 이상 현상 정의

• 시점 이상 : 비정상적인 값에 도달하는 단일 시점 또는 연속적인 시점
• 기간 이상 : 특정 구간에서 이상현상이 생기는 경우
  

시계열 데이터에 대한 이상 감지 방법 구분

0. 이상 감지 -> 1. 지도학습 OR 2. 비지도 학습

1. 지도 학습 -> 분류

2. 비지도 학습 -> 유사성(KNN), 예측(LSTM, RNN), 재구성(Autoencoder, PCA)