ML 공부
PyTorch로 시작하는 딥 러닝 입문
- Chap05-01~05: 다중 클래스 분류 문제
- Chap06-01~02: 머신 러닝 용어와 퍼셉트론(Perceptron)
PyTorch로 시작하는 딥 러닝 입문
- 다중 클래스 분류 문제를 해결하기 위해 원-핫 인코딩을 사용하는 이유에 대해 이해함
- 각 클래스마다 부여한 확률의 합이 1이 되게 하는 소프트맥스 함수에 대해 학습함
- 소프트맥스 회귀의 비용함수인 크로스 엔트로피 함수에 대해 학습함 (이해 안됨)
- MNIST(숫자 0부터 9까지의 이미지로 구성된 손글씨) data set과 gpu를 이용하여 MNIST 이미지를 input으로 받으면 어떤 숫자인지 분류하는 모델을 학습시킴
- 모델을 평가하기 위한 훈련, 검증, 테스트 데이터에 대해 이해함
- 모델을 결정짓는 변수 중 사용자가 직접 정하는 하이퍼 파라미터와 학습 과정에서 얻어지는 값인 매개 변수에 대해 이해함
- 머신 러닝에서 다루는 문제들인 이진 분류 문제(Binary Classification), 다중 클래스 분류 문제(Multi-class Classification), Regression에 대해 이해함
- 지도 학습(Supervised Learning)과 비지도 학습(Unsupervised Learning)에 대해 이해함
- 훈련 데이터를 과하게 학습하여 훈련 데이터에 대한 cost는 낮지만, 테스트 데이터에 대한 cost는 높은 경우인 과적합(Overfitting)과 성능이 올라갈 여지가 있음에도 훈련이 덜 된 상태인 과소적합(Underfitting)에 대해 이해함
- 퍼셉트론(Perceptron), 단층 퍼셉트론(Single-Layer Perceptron), 다층 퍼셉트론(Multi-Layer Perceptron)에 대해 이해함
마주한 문제점
- MNIST 분류 모델을 학습시켰으나 cost의 값이 증감을 반복했다. learning rate를 아무리 작게 해도 결과는 같았다. learning rate를 작게 하면 조금씩이라도 cost가 감소하면서 0에 수렴해야 한다고 알고 있는데 왜 그런 것인지 모르겠다. 이렇게 증감을 반복하는 것은 learning rate가 너무 커서 발산하는 경우라고 알고 있는데...비용 함수를 제대로 이해하지 못해서 생긴 일인가?
- 이론적으로 전체적인 과정은 이해했으나 코드로 작성하는 과정은 잘 이해가 가지 않는다..
