차원의 저주

The curse of dimensionality

딥러닝의 시대가 열리고 층을 깊게 쌓을수록 차원이 커져 비선형성이 더 커지고 따라서 더 복잡한 feature를 뽑아낼 수 있어 성능 향상이 있을것이라 생각했지만 예상과는 다르게 차원이 일정 수준 이상 커지게 되면 학습데이터 수가 차원의 수보다 적여져 성능이 저하되는 현상이 일어났다.

차원이 증가할 수록 개별 차원 내 학습할 데이터 수가 적어지는 형상을 sparse 현상이라고 한다.

위의 예시의 경우 1차원일 때는 오밀조밀 데이터가 모여있지만 차원을 증가시킬수록 점들 사이의 빈 공간이 많아짐을 확인할 수 있다.

따라서 학습이 제대로 이루어지지 않는 것이다.

이를 해결하기 위해서는 차원을 줄이거나 데이터를 많이 획득해야한다.

뿐만 아니라 차원이 커질수록 연산량이 기하급수적으로 증가하기 때문에 효율의 측면에서도 차원의 저주는 경계해야한다.