차원의 저주
차원이 커질 수록 정보량은 많아짐
그러나 데이터 간 빈 공간이 생기게 되어 차원의 저주가 생김
과대적합의 위험도가 커짐
높은 차원의 데이터가 된다면 흩어지게 되고 데이터가 갖는 정보량이 많아지고 고려해야할 데이터의 정보량이 많아짐 학습데이터에 의존하게됨 (차원이 클 때 과대적합의 위험도가 커짐)
차원 축소
X의 수를 줄여서 학습 불가능 문제를 학습 가능 문제로 만드는 기법
사영기법
물체를 평면에 사영해서 평면에
정보량을 가장 많이 담을수 있는 축을 찾아 평면에 내리는 것
PCA - 학습 데이터 셋을 특정 초평명에 사영하는 기법
분산이 최대한 유지하도록 축을 지정
첫번째 주성분을 찾았다면 두번째 주성분은 수직이 되어야 한다.
분산 비율의 합 95%가 되는 지점
차원이 줄어들었지만 고양이를 알아볼 수 있음
PCA(x가 갖는 분산을 보고 결정): 변동성이 가장 큰 축을 찾음
LDA(지도학습_y값을 보고 결정 축 설정): y값을 최대한 분리할 수 있는 가지고 사영을 하겠다.
클러스터링
- 비지도 학습 (군집화, 이상치탐지, 데이터 밀도 추정)
- 유사한 데이터 포인트들을 별개의 군집으로 그룹화 하는 것
- 군집에 포함되지 않는 것을 이상치로 구분할 수 있음
k-means
- 평균을 활용하여 군집화
- 군집의 갯수롤 k개로 정해주기
중심점 5개를 정해 묶어줌.
군집내 데이터들의 평균을 다시 중심점으로 할당해서 새로운 중심점을 만들어 하나의 군집으로 파악
k-means 단점:
1.군집을 몇 개 할지 미리 정해줘야 함
(k를 몇개 정하느냐에 따라 달라지는데 임의로 정해야함)
2. 중심점이 랜덤으로 생기는데 어디로 잡느냐에 따라 결과가 달라짐
단점 보완하기
k-means++
- kmeans 단점 보완
- 랜덤으로 첫 중심점 랜덤 생성, 첫 중심점과 가장 멀리있는 점을 두번째 중심점으로 잡음, 또 가장 멀리있는 점을 세번째 중심점으로 잡음
n_init
- k-means를 몇번 수행 할 것인지 그 후 가장 좋은 것을 뽑아줌
위 그림은 한번 실행된 것
max_iter
- 할당되고 반복하는 것
위 그림은 한번 실행 된것
최적의 군집수
- 실루엣 계수
a는 작을 수록 좋음, b는 클 수록 좋음
실루엣 계수 평균이 높나고 좋은 것이아니라 군집별 크기가 비슷해야 좋은 모델
Hierarchical Clustering 계층적 군집분석
- 클러스터의 개수를 미리 지정할 필요가 없다.
- 가장 가까운 2개를 먼저 묶어줌
그럼 데이터가 6개에서 5개 줄어듦
여기서 또 가까운 2개를 묶어줌 (2,3)
그럼 4개로 줄어듦
반복적으로 수행하여 이렇게 묶음
계층 몇 개를 사용할 건지
오른쪽 그림의 높이를 다르게 설정하여 원하는 개수만큼 자를 수 있음
DBSCAN
- 밀도를 베이스로 한 클러스터링
- 이상치를 효과적으로 제외할 수 있음
k-means는 가까운 군집끼리 묶고
dbscan은 밀도가 높은 군집 끼리 묶음
mean samples = 4 로 정했을 때 위 그림은 2개 밖에 없기 때문에 같은 군집으로 묶을 수가 없음.
4개 데이터가 존재하므로 하나의 군집으로 묶을 수가 있음
최종적으로 이와 같은 결과가 나옴
core: 반경 안에 데이터 개수가 4개일 때 중심 데이터
border : 주위에 4개 데이터는 없지만 하나의 군집내에 묶였을 때, 즉 경계에 있음
noise: 아웃라이어
입실론을 작게 했을 때 매우 촘촘하게 나누어짐
입실론을 크게 한다면 오른쪽과 같이 나누어짐
단점
- 군집 간 밀집도가 크게 다르면 모든 군집 파악 불가능
- 어떠한 군집은 퍼져있고 어떠한 군집은 뭉쳐있을때 파악하기가 힘듬
GMM (가우시안 혼합 모델)
가우시안 분포 : 평균에 몰려있는 분포
하나의 데이터셋에는 여러개의 가우시안 분포가 있을 수 있다.
그 후 하나의 가우시안 분포를 하나의 군집으로 분류 하는 것.
pca: 차원 축소, 차원이 많다는 것은 고려해야할 피쳐, X의 수가 많다 ->과대적합
