Dimensionality Reduction

Manifold Hypothesis

차원 감소 방법에는 PCA와 같은 유명한 방법이 있습니다. 이런 방법들을 소개할까 하다가 우선 "저에게"는 생소한 Manifold Hypothesis를 소개하겠습니다.

Manifold Hypothesis란 고차원의 데이터를 차원을 축소하여 저차원의 데이터로 표현하는 다양체의 존재성에 대한 가설입니다.

고차원 데이터라 할지라도, 실질적으로 해당 데이터를 나타내주는 저차원 공간이 존재하며 이를 Manifold라고 합니다.즉, sparse 한 고차원 데이터를 간추려서 저차원 공간으로 나타낼수 있다는 뜻입니다.

Manifold란, 웃는 얼굴의 사진과 우는 얼굴의 사진을 구분 지을 Manifold가 존재한다면, Manifold는 이 둘을 구분지을 축인거죠! 어떤 것을 기준으로 왼쪽으로 가면 웃는 얼굴 오른쪽으로 가면 오른쪽 얼굴인 것입니다.

다차원 데이터에서 의미를 가지는 피쳐를 모아둔 조밀한 특성공간을 뜻하며, 실제 데이터를 통해 스스로 학습하는 딥러닝이 이러한 manifold를 스스로 찾아냅니다.