UMAP

📌참고 영상

• https://www.youtube.com/watch?v=o_cAOa5fMhE

UMAP?

• Uniform Manifold Approximation and Projection
• 2018년에 소개된 강력한 수학적 기초를 갖고 있는 차원 축소 기법
• 고차원 데이터를 저차원 공간에서 표현하는 데 뛰어난 성능을 보임

Main Algorithm

이 알고리즘의 핵심은 t-SNE와 다소 유사하다.

모든 고차원 샘플의 각 이웃까지의 거리를 기반으로, 고차원 공간에서 거리를 저차원 공간에서도 최대한 일치하게 표현하려고 한다.

하지만 t-SNE가 가우시안 분포와 확률 분포를 사용하는 것과 달리,UMAP은 대신 그래프를 사용하여 고차원 데이터와 저차원 데이터를 모두 표현한다.

이제 작동방식을 보면 먼저, 각 샘플의 가장 가까운 k개의 이웃을 찾아야 한다.

이웃 탐색은 여러 알고리즘이 있으며, 지점 간 거리 비교를 기반으로 이루어지며, 설정된 k 값에 따라 이웃의 개수를 조정한다.

이 과정에서 각 데이터 포인트와 이웃 간 가장자리가 구성되며, 이를 통해 초기 이진 그래프가 생성된다.

이제 가중치 그래프를 생성하는데, 각 포인트와 이웃 간의 거리에 대해 지수적 감쇠(exponential decay)를 적용해 가중치를 계산한다.

가장 가까운 이웃에는 최대 가중치(1)를 할당하며, 거리와 반비례해 가중치가 감소한다. 이는 t-SNE와 유사한 공식이지만, UMAP은 값을 정규화하지 않아 계산 속도가 더 빠르다.

이제 이 샘플에 대한 가중치가 있으므로 다른 샘플 각각에 대해 동일한 프로세스를 반복한다.

여기에 3개의 그래프만 표시돼 있지만, 결과적으로 샘플당 하나의 가중치 그래프가 생성되므로 각 샘플별로 생성된 가중치 그래프를 하나의 대칭화된 단일 가중치 그래프로 결합한다.

대칭화는 두 데이터 포인트 간 하나의 간선만 남도록 설정하며, 가중치를 0과 1 사이로 유지한다.
이제 최종 그래플 구성이 완료됐으므로, 초기 저차원 표현에 대해 동일한 프로세스를 반복하여 저차원 공간에서 또다른 가중치 이진 그래프를 제공한다.

다음 단계로, 두 그래프 간의 유사성을 평가하기 위해 인접 행렬(adjacency matrix)을 사용하고, 이를 기반으로 교차 엔트로피(cross-entropy) 손실 함수를 최소화한다.

최적화는 확률적 경사 하강법(SGD)을 통해 이루어지며, 이 과정에서 저차원 표현이 반복적으로 조정된다.

이제 MNIST 데이터셋을 UMAP을 사용한 시각화를 살펴보면 클래스가 잘 클러스터되어 있는 것을 확인할 수 있다.

UMAP은 특히 시각화 품질과 속도 측면에서 강력하다. t-SNE는 MNIST를 차원축소하여 시각화하는 데 40초가 걸렸지만 UMAP은 단 5초가 걸렸다.

UMAP은 데이터 크기에 따라 런타임 증가율이 t-SNE보다 훨씬 느리며, 대규모 데이터셋에서도 효율적으로 작동하는 것을 알 수 있다.

UMAP의 또 다른 장점은 초기 그래프 구성에서 주요 하이퍼파라미터인 number of nearest neighbors이다.
이웃 수가 증가함에 따라 이 매머드 모양의 projection이 어떻게 바뀌는지 살펴보면, 처음에는 하나의 큰 fuzzy 셋만 있지만 파라미터 값이 커질수록 점점 더 많은 세부정보를 얻을 수 있다.

주요 하이퍼파라미터를 변경했을 때, UMAP은 t-SNE보다 결과의 변화를 더 예측하기 쉽다. 반면, t-SNE에서 perplexity 값을 조정했을 경우, 결과가 실제로 개선되었는지 판단하기가 어렵다. 또한, UMAP은 데이터의 전역적인 구조를 보존하는 데 매우 효과적이다.

UMAP Hyperparameter

1. n_neighbors : UMAP이 데이터를 학습할 때, 각 데이터 포인트의 로컬(neighborhood) 구조를 정의하는 데 사용

• 특정 데이터 포인트가 “이웃”으로 간주되는 기준을 결정하며, 이는 저차원 임베딩에서 국소 구조를 얼마나 잘 보존할지에 영향을 미침
• 값이 낮으면 매우 로컬한 구조에 집중하도록 강제하며, 이는 전체적인 구조를 해치는 결과를 가져올 수 있음
• 반대로 n_neighbors 값이 높으면 매니폴드 구조를 추정할 때 각 점의 더 큰 이웃을 살펴보게 되어, 세부적인 구조를 잃는 대신 데이터의 전반적인 구조를 더 잘 반영함
• default : 15
  

2. min_dist : UMAP이 데이터를 얼마나 밀집되게 배치할 수 있는지를 제어

• 저차원 임베딩에서 데이터 포인트 사이의 최소 거리(밀도)를 설정
• 저차원 공간에서 데이터 포인트 간의 “뭉침” 정도를 조정하는 역할
• 값이 낮으면 더 뭉쳐진 형태의 임베딩이 생성되며 클러스터링이나 더 세밀한 위상 구조 분석에 유용함
• 값이 높으면 점들을 서로 밀집시키지 않고, 대신 전체적 위상 구조 보존하는 데 초점을 맞춤
• default : 0.1

3. n_components : 임베딩 차원을 설정

• 일반적으로 2D 또는 3D 시각화를 위해 2 또는 3으로 설정
• 작은 값(예:2)은 데이터를 시각화하기에 적합함
• 큰 값(예:10 이상)은고차원 임베딩으로 더 정교한 분석에 활용 가능
• default : 2

4. metric : 데이터 포인트 간 거리를 계산하는 방법을 정의

• 종류는 euclidean, cosine, manhattan 거리가 존재
• euclidean는 연속형 수치 데이터에서 가장 일반적으로 사용
• cosine은 텍스트 데이터나 희소 데이터에서 유용
• manhattan은 고차원 데이터에서 안정적인 경우가 많음
• default : euclidean