Autoencoder

keywords 

* unsupervised learning
* manifold learning
* generative model learning
* ML density estimation

Background: Manifold

Manifold란 고차원 space에 있는 data를 나타낼 수 있는 저차원 subspace를 말한다. 그러므로 manifold learning이란 고차원 data를 잘 아우르는 subspace가 있다는 가정 하에 학습을 진행하는 방법을 의미한다.

정의

: 입력과 출력이 동일한 network
: unsupervised learning → self-supervised learning으로 바꾸어서 해결함
** self-supervised learning : 자기 자신을 배운다

Encoder가 최소한 학습 데이터는 잘 latent vector로 표현할 수 있게 된다.
→ 데이터의 추상화를 위해 많이 사용된다.
→ 적어도 training data를 잘 압축을 한다. (minimum 성능이 보장된다)

Decoder가 최소한 학습 데이터는 생성해 낼 수 있게 된다.
→ 생성된 데이터가 학습 데이터를 좀 닮아 있다
→ 적어도 training data를 잘 복원한다. (minimum 성능이 보장된다)

Denoising Autoencoder (DAE)

• nosie를 제거하는 autoencoder
• autoencoder는 manifold learning이 목적이었다.
  → manifold learning을 잘 하는 것은 feature extraction을 잘 수행하고 (feature를 잘 찾고) 복원도 잘한다는 의미이다.
  → feature를 잘 찾는다는 것은 의미적으로 feature를 잘 찾은 것이다.
  → 다르게 말하면, 사람이 봤을 때 의미적으로 똑같다라고 생각하는 sample 수준을 벗어나지 않게 다양한 noise를 추가한다는 뜻이다.

결과적으로 manifold 상에서 똑같지만 원래 데이터 공간에서는 다른 input들을 넣어주고 학습을 해주면 좀 더 manifold가 학습이 더 잘 된다