[P_stage] - week 16 day 2

[week16] 2021/11/17

최종 프로젝트 준비

Autoencoder

• keywords: unsupervised learning, representation learning(=efficient coding learning = (nonlinear) dimentionality reduction = feature extraction = manifold learning), generative model learning, ML density estimation.
• 오토인코더를 학습할때: 학습방법은 비교사 학습 방법(unsupervised learning), loss는 negative ML(maximum likelihood)로 해석한다(ML density estimation).
• 학습된 오코인코더에서: 인코더에서 차원 축소 역할을 수행하며(manifold learning), 디코더는 생성모델의 역할을 수행한다(generative model learning).
• Manifold Learning
  • visualization의 편의성을 위해서 차원을 축소할때, 고차원의 데이터를 다른공간 subspace에 다시 분포시키는데, 이때의 subspace를 manifold라고 한다.
  • 차원축소는 data compression, data visualization, curse of dimensionality, discovering most important feature를 위해 한다.
  • curse of dimensionality: 데이터의 차원이 증가할수록 해당 공간의 크기(부피)가 기하급수적으로 증가하기때문에 동일한 개수의 데이터의 밀도는 차원이 증가할수록 급속도로 희박해진다. 따라서, 차원이 증가할수록 데이터의 분포 분석 또는 모델추정에 필요한 샘플데이터의 개수가 기하급수적으로 증가하게된다.
  • 매니폴드 학습결과 평가를 위해 매니폴드 좌표들이 조금씩 변할때 원 데이터도 유의미하게 조금씩 변함을 보인다.
  • 의미적으로 가깝다고 생각되는 고차원 공간에서의 두샘플들 간의 거리는 먼 경우가 ㅁ낳다. 고차원 공간에서 가까운 두 샘플들은 의미적으로는 굉장히 다를 수 잇다. 차원의 저주로 인해 고차원에서의 유의미한 거리 측정방식을 찾기 어렵다.
  • 쉬운 설명: 복잡하게 섞여있는 feature들을 유의미하게 분포되어있는 feature로!
  • 기존의 방식(dimensionality reduction: Isomap, LLE)은 neighborhood 방식으로, 그렇지만 가깝다고 반드시 유의미한건 아니다. 따라서 Non-parametric density estimation(Isotropic parzen window, manifold parzen window, non-local manifold parzen window)의 방식을 사용한다.
• Autoencoder = auto-associators = diabolo networks = sandglass-shaped net
  • input layer와 output layer이 같다.
  • loss는 input과 output이 비슷해지도록 한다.
  • 비교사 학습문제를 교사학습 문제로 바꾸어 해결