[데이터사이언스]개발일기 4일차

4일차 학습노트

*Warm up:
-1. 미분은 인공지능 최적화에 있어 필수적 요소
: 정확하게 실제값을 예측하기 위해선 오차값(실제값-예측값이) 0에 가까울수록 정확하다. 그럴려면 오차함수를 최소화 하는 a , b값을 찾아야 한다 . 즉, f(a , b) = 오차 인 함수를 미분하여 오차함수의 도함수가 0이 되는 부분을 찾아서 a ,b 를 구할수 있다.
-2 경사하강법은 현실에선 파라미터가 굉장히 많기에 오차함수를 최소화 할수 있는 a,b값을 찾을수 있는 최적화 알고리즘중 하나임. a,b 기울기가 낮아지는 방향으로 알고리즘을 진행시키는 방법. a , b 값을 반복적으로 업데이트 해가면서 그래디언트가 0이 될 때까지 이동함. 학습률을 적당히 잡아야 원하는 결과를 도출할 수 있음.

-3. 편미분 = 변수1개만을 타겟잡아 미분하고 그 외 나머지 변수는 전부 상수 처리시키는 방법

-4. 합성함수 = 양파까기 , Deep learning 의 핵심개념중 하나인 Backward Propagation 을 이해하는데 중요한 개념

• 경사하강법 원리:

모델이 예측하는 값과 실제값의 차이(에러함수)가 가장 작은 모델을 선택하기 위한 최적의 a,b 파라미터를 구해야 할때 미분계수가 0인 곳을 찾으면 되는데 실제 마주하게 될 데이터는 파라미터가 매우 많음. 그래서 임의의 a,b를 선택한후 계속 업데이트 하면서 기울기가 점점 0이 되는 곳으로 수렴하는 원리. 학습률이 너무 낮으면 수렴에 소요되는 시간이 너무 길고 반대로 학습률이 높으면 가장 작은 기울기인 극소값을 지나쳐 버리게 되므로 적정한 학습률을 선택 해야한다.
Gradient decent