🏆 학습목표

• AutoEncoder (AE)의 구성에 대해서 설명할 수 있어야 합니다.
• AE의 학습과정을 이해할 수 있다.
• Latent variable의 추상적 개념을 정의할 수 있고,
• 이를 활용하여 기본적인 information retrieval problem를 해결해본다.
• AE의 활용방안에 대해서 생각해볼 수 있다.

---

1. 오토인코더(Autoencoders)

오토인코더(Autoencoders)는 어떻게 보면 단순히 입력을 출력으로 복사하는 신경망처럼 보이지만 네트워크에 여러가지 방법으로 제약을 줌으로써 어려운 신경망이 된다.
hidden layer의 뉴런 수를 input layer보다 작게 해 데이터를 압축(차원 축소)한다거나, 입력 데이터에 노이즈(noise)를 추가한 후 원본 입력을 복원할 수 있도록 네트워크를 학습시키는 등 다양한 오토인코더가 있다. 이러한 제약들은 오토인코더가 단순히 입력을 바로 출력으로 복사하지 못하도록 방지하며, 데이터를 효율적으로 표현(representation)하는 방법을 학습하도록 제어한다.
이는 입력과 출력층의 뉴런 수가 동일하다는 것만 제외하면 일반적인 MLP(Multi-Layer Perceptron)과 동일한 구조이다. 오토인코더는 입력을 재구성하기 때문에 출력을 재구성(reconstruction)이라고도 하며, 손실함수는 입력과 재구성(출력)의 차이를 가지고 계산한다.

• 용도

  • 노이즈 제거
  • 재구성을 통한 이상값 찾기
  • 특성 추출 : 특성값 추출기(Feature extractor)

• 구조

  • 인코더($encoder$) : 인지 네트워크(recognition network)라고도 하며, 입력을 내부 표현으로 변환하여 차원 축소, 특징 추출 등의 기능을 한다.

  • 디코더($decoder$) : 생성 네트워크(generative nework)라고도 하며, 내부 표현을 출력으로 변환한다. 원래 입력한 데이터와 비교하기 위해 추출된 특징을 이미지 형태로 복원 및 재구성하는 기능을 한다.

  • $latent$ $feature$ : 신경망 내부에서 추출된 특징적 값들

  • 학습과정 : minimizing a loss function -> $L(x, g(f(x)))$,

    • $L$ = 손실함수, $g(f(x))$와 $x$의 dissimiliarity($MeanSquaredError$)
    • $f$ = encoder function (input)
    • $g$ = decoder function (output)

  => 오토인코더(Autoencoders)는 "출력 = 입력"을 학습시키는 신경망으로 Loss function에서 입력과 출력의 차이(원본과의 차이)를 이용해 역전파(가중치 학습)를 진행한다. 출력은 입력과 최대한 근사하게 만들기 위해 Latent representation으로 encoding(차원축소과정)하고, 다시 data로 decoding(재구성과정)하면서 이 latent(;숨어있는)는 데이터의 정보량이 많은 부분, 또는 대표적인 속성을 우선학습하게 된다.

오토 인코더의 다양한 정의

• 차원 축소 등을 위해 표현학습(Representation Learning) 또는 특징학습(Feature Learning)을 비지도 학습의 형태로 학습하는 신경망
  • 표현학습(Representation Learning) 또는 특징학습(Feature Learning)
    : 특징 탐지(feature detection)나 분류(classification)를 위해 필요한 특징점들을 자동으로 발견하는 시스템적 기법들의 총체
    
    
  • 차원축소를 하는 이유; 차원의 저주
    고차원 공간의 데이터를 분석하거나 측정할 때 저차원 공간에서는 나타나지 않았던 여러 문제들이 발생하는 것으로, 머신러닝에서는 일반적으로 차원이 증가할 경우 기하급수적인 데이터가 요구되는 현상
    *Manifold Hypothesis : 고차원의 데이터가 저차원의 다양체(Manifold)에 표현될 수 있다는 것을 가정하는 것
    => 차원이 늘어날수록 우리가 찾아내고자하는 특징들을 뽑아내기 위해 더 많은 데이터가 필요하다.
    
    
• 비지도학습 방식으로 효율적인 데이터 코딩(encoding, decoding)을 학습하는 데 사용되는 인공 신경망의 한 유형
• 별도의 레이블 없이 입력데이터 자체를 레이블로 활용하는 비지도학습 방식
• 데이터 코딩(encoding, decoding)을 위해 원하는 차원만 할당해주면, 자동으로 학습하여 원하는 형태로 데이터의 차원을 축소해주는 신경망의 한 어플리케이션
• 네트워크가 중요한 의미를 갖는 신호 외의 "노이즈"를 제거하도록 훈련(데이터의 핵심 요소를 찾아 요약하고 요약된 정보를 이용해서 다시 재구성을 해보면서 요약이 잘 되었는지 확인)
• 코딩된 코드영역 = 입력 데이터의 잠재적 표현(Latent representation)
• 인코딩 모델(파라미터)과 디코딩 모델(파라미터)은 동시에 학습이 되지만, 이를 각각의 모델로 구분하여 사용할 수 있다.

2. Stacked 오토인코더 / deep 오토인코더

• 여러개의 히든 레이어를 가지는 오토인코더(여러개의 오토인코더를 쌓은 것)
• 레이어를 추가할수록 오토인코더가 더 복잡한 코딩(부호화)을 학습할 수 있다.
• stacked 오토인코더의 구조는 그림과 같이 가운데 히든레이어(코딩층)을 기준으로 대칭인 구조를 가진다.

3. 실습

Colab 실습

• 기본 오토인코더
• 노이즈 제거용 오토인코더
• convolutional 오토인코더
• 이상현상 발견용 오토인코더

Review

• Autoencoder는 encoder와 decoder로 구성되어 있다.

  • Decoder와 Encoder를 구분할 수 있다.
  • Encoder : 특징 추출 -> 중요한 정보만 남김 -> 차원 축소
  • Decoder : 추출된 특징을 바탕으로 원래 이미지로 복원
  • label : 원본, input

• 단순한 Dense형태로도 구성할 수 있지만, CNN을 이용한 구성도 가능하다

  • 기본 오토인코더와 Convolution 오토인코더는 어디에서 차이가 날까?

• 오토인코더의 용도

  • 노이즈 제거 용도

    • input ; 노이즈 + 원래 데이터
    • lable : 원래 데이터

  • 재구성을 통한 이상값을 찾아내는 용도

    • 학습 -> 정상 데이터

    • 정상/비정상 어떻게 구분? -> 재구성 오류값이 임계값을 초과하면 이상치

    • 이진분류 모델에 비해 AE 장점

      • 정상 데이터만으로 모델 만들 수 있어 데이터 확보가 용이하다

        (이진분류로 할 경우 불균형 데이터가 될 가능성이 높다. 암 걸린 사람보다 안 걸린 사람이 더 많으므로)

  • 특성을 추출하는 용도

• Conv2D <=> Conv2DTranspose : 가중치 필요, 채널 수 변함

• Pooling <=> Unpooling : 가중치가 필요 X, 채널 수 안변함