*.용어 정리
- 활성화함수
- 뉴런에서 출력값을 변경시키는 함수, 비선형함수
- 입력 신호의 총합을 출력 신호로 변환하는 함수로, 입력 받은 신호를 얼마나 출력할지 결정하고 네트워크에 층을 쌓아 비선형성을 표현
- 시그모이드 함수, 소프트맥스 함수, 하이퍼볼릭탄젠트 함수, 렐루 함수
- 옵티마이저(Optimizer)
- loss 함수의 최소값을 찾아가는(최적화) 알고리즘
- 계산된 그레디언트를 바탕으로 실제로 가중치를 어떻게 갱신할지 결정
- 순전파(Forward Propagation)
- 입력층에서 출력층 방향으로 연산 전개
- 역전파(Back Propagation)
- 출력층에서 계산된 오차를 입력층 방향으로 거꾸로 전파하여 각 가중치의 그레디언트를 구하는 알고리즘
- 가중치
- 입력 신호가 출력에 미치는 크기
- 신경망에서 학습한다는 것은 가중치 값들을 최적의 값으로 조정하는 과정을 말함
- 은닉층
- 입력층과 출력층 사이에 있는 층
- 손실함수
- 신경망이 예측한 값과 실제 값 사이의 오차 측정
- 학습의 최종 목표는 손실함수 값을 0에 가깝게 최소화 하는 것
- 그레디언트(기울기)
- 손실함수를 가중치로 미분한 값
- 오차 줄이기 위해 가중치를 어떤 방향으로 얼마나 움직여야 하는지 나타냄
- 기울기가 가파르면 오차 줄일 여지가 많음
참고
하루살이