[DL] 딥러닝 교과서 2, 3단원 요약(순방향 신경망, 신경망 학습)

공부 벌레🐛가 되자!

참고 자료

📕 딥러닝 교과서, 출판사: 이지스 퍼블리싱
📙 밑바닥부터 시작하는 딥러닝, 출판사: 한빛미디어

책의 흐름

딥러닝 교과서를 1단원부터 3단원까지 보았습니다.

흐름은 개요부터 시작해서 순방향 신경망(feedforward neural network), 신경망 학습까지 이어졌습니다.

핵심 키워드를 정리해보자면

📌 2단원: 지도학습(분류, 회귀), 분류(이진 분류, 다중 분류) 모델, 회귀 모델, 활성 함수

📌 3단원: 신경망 학습의 의미, 최적화, 경사 하강법, 역전파 알고리즘, 데이터셋 구성, 손실 함수 정의

등이 있었습니다.

저는 모든 내용을 다 정리하진 않았고 특히나 정리하면서 더 공부가 필요한 부분에 집중해서 정리하고 있습니다.

요약

• 신경망에서는 활성화 함수(activation function)을 사용하고 그 종류로는 대표적으로 sigmoid 함수, ReLu 등이 있씁니다.
• 기계학습 문제는 크게 회귀와 분류로 나뉠 수 있다.
• 출력층의 activation function으로, regression에서는 항등 함수를, classification에서는 softmax 함수를 이용합니다.
• 분류에서는 출력층의 뉴런 수를 분류하려는 클래스 수와 같게 해야합니다.
• Dataset은 크게 train set/test set으로 나눠 사용한다.
• train set으로 학습한 모델의 능력을 test set으로 평가한다.
• 미니 배치 훈련 방식(입력 데이터를 묶은 것)으로 학습하면 결과를 더 빠르게 얻을 수 있다.
• 신경망 학습은 손실 함수를 지표로 이용한다.
• 모델이 표현하는 함수의 형태를 결정하는 것이 손실함수이다.
• 손실 함수의 값이 작아지는 방향으로 가중치 매개변수(parameter)를 갱신한다.
  
• 가중치 매개변수를 갱신할 때는 가중치 매개변수의 기울기를 이용해서 계산하며, 기울어진 방향으로 가중치의 값을 갱신합니다. (이 부분을 최적화하는 내용이 4단원으로 이어집니다.)