[ 예상문제 ]
(1) 시그모이드 함수와 소프트맥스 함수의 공통점
둘 다 비선형 함수, 활성화 함수
둘 다 0에서1사이의 연속적인 값(확률값)을 출력
(2) 시그모이드 함수와 소프트맥스 함수의 차이점
가장 큰 차이점은 출력의 개수
시그모이드 함수는 단일 뉴런의 출력을 위한 활성화 함수로 주로 이진 분류에서 사용
소프트맥스 함수는 다중 클래스 분류에서 각 클래스에 대한 확률값을 계산하므로
다중 출력을 갖는 신경망에서 많이 사용됨.
시그모이드 함수는 각 클래스에 대한 확률값출력함(확률에따라 0인지1인지 출력)으로 모든 확률값을 더하면 1보다 큰값이 나온다.
반면, 소프트맥스 함수는 모든클래스에 대한 확률값을 출력함으로 모든확률값을 더하면 1이된다.
시그모이드는 주로 은닉층의 활성화 함수로 쓰이고, 소프트맥스함수는 주로 출력층에 쓰인다.
모델이 역전파를 사용해 가중치(파라미터값)을 조정할때 시그모이드 함수는 독립적으로 값을 조정하게되고, 소프트맥스 함수는 모든 클래스에 대한 확률값이기때문에 동시다발적으로 업데이트가 가능하여 학습이 더욱 효율적이다.
(3) 신경망으로 분류할 때, 출력층의 소프트맥스 함수를 생략해도 되는 이유는?
신경망을 이용한 분류에서는 일반적으로 가장 큰 출력을 내는 뉴런에 해당하는 클래스로만 인식하게 되는데, 소프트맥스 함수를 적용해도 출력이 가장 큰 뉴런의 위치는 달라지지 않기 때문
(4) 소프트맥스를 적용해도 각 원소의 대소 관계는 변하지 않는 이유는?
단조 증가함수(a<=b일 때 f(a)<=f(b)가 성립하는 함수)이기 때문
단조 증가함수는 함수의 값을 증가시키는 특성을 갖는 함수
함수의 그래프가 왼쪽에서 오른쪽으로 갈수록 높아지는 형태를 보이는 것을 의미
(5) 데이터를 특정 범위로 변환하는 처리는 무엇일까요?
정규화(normalize) : 단위 길이로 변환/ 범위(스케일) 조정
(6) 신경망의 입력 데이터에 특정 변환을 가하여 데이터를 정리하는 처리는 무엇일까요?
전처리(pre-processing) : 데이터 클리닝(Cleaning)/ 특성 추출(Feature Extraction)/ 차원 축소(Dimensionality Reduction)/ 데이터 백색화(whitening)
참고) 데이터 백색화(whitening)
일반적으로 데이터에는 특성들 간의 상관관계가 존재할 수 있습니다.
이러한 상관관계는 데이터의 분포를 비대각선형으로 만들 수 있고,
이는 머신러닝 모델의 성능을 저하시킬 수 있습니다.
백색화는 이러한 상관성을 줄여 특성 간의 상관성이 없는 상태를 의미합니다.
백색화는 데이터의 분포를 정규화하고, 서로 다른 특성들 간의 비교를 용이하게 하여 머신러닝 모델의 성능 향상에 도움을 줄 수 있습니다
- 상관 행렬 계산: 주어진 데이터의 특성들 간의 상관관계를 나타내는 상관 행렬을 계산합니다.
- 고유값 분해(Eigenvalue Decomposition): 상관 행렬을 사용하여 고유값과 고유벡터를 구합니다.
- 고유값 조정: 고유값을 조정하여 데이터를 더 백색화된 형태로 만듭니다.
- 변환: 고유값과 고유벡터를 이용하여 데이터를 변환하여 새로운 특성 공간으로 가져옵니다.
