Auto-Encoder

오토인코더는 아래의 모델 구조와 같이 input으로 들어온 데이터를 output으로 재설계하는 신경망으로 볼 수 있습니다.

Auto Encoder는 기존의 데이터에서 효과적이고 대표되는 특징을 발견하기 위한 기존의 데이터 압축과정을 통과하였더라도 Original Input을 재현하기 위해 비지도 방식으로 identity function을 학습하도록 디자인된 신경망 네트워크입니다.

auto encoder에 대한 이해를 위해서는 아래의 목차의 특성에 대해서 아는 것이 기본이라고 생각합니다.

1. Encoder network , Decoder network
3. BottleNeck Hidden Layer (Latent Representation)
4. input과 output이 같은 구조 

Encoder Network , Decoder Network

Encoder Network는 기존의 고차원의 input을 저차원의 latent representation으로 만들어냅니다.
Decoder Network를 통해서 latent represention을 실제 데이터와 같이 재현해 냅니다.

BottleNeck Hidden Layer( Latent Representation)

auto-encoder의 encoder는 latent representation으로 만들어냄으로써 auto-encoder가 training data에서 더 중요한 특징점들을 학습할 수 있도록 합니다.

또, 이 과정이 제가 저번 포스팅에서 이야기했던 Deimension Reduction과 똑같다는 것을 알 수 있습니다.

input으로부터 latent representation을 만들어내고 다시 값을 재현해내는 Decoder의 최종 output, input과 output의 loss는 MSE Loss로 구할 수 있습니다.