기초 미분 강의

https://www.youtube.com/playlist?list=PLZHQObOWTQDMsr9K-rj53DwVRMYO3t5Yr

최적화 기초미분

미분이란? 함수를 작게 나눈다
특정한 파라미터 값(input, x)에 대해서 나오는 결과값(output, y)이 변화하는 정도를(0에 가까운 부분을 찾기 위해) 계산하는 것

머신러닝에서 대표적으로 쓰이는 미분 공식

1. f'(X)가 상수 인경우 변화율이 0이기 때문에 미분계수는 0이다.

2. power rule, n승을 미분할 경우 n을 내려보내 곱해주고, 이후에 n승에서 '하나'를 가져왔기때문에 빼준다.

편미분

편미분이란? 파라미터 2개 이상인 에러함수에서 하나만 미분하고 나머지 하나는 상수로 만드는 것(다른 변수를 상수 취급한다)

chain rule

체인룰이란? 함수의 함수를 미분을 하기위해 사용함(합성함수)
딥러닝에서 이해를 하는데 매우 중요하기때문에 역전파 알고리즘 배울떄 도움이 많이 됨, 계산하는 법을 알아야함

도함수

이미지 출처:https://blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=freewheel3&logNo=220764389061

도함수란? 변화율이 0으로 가까이 될때 순간변화율을 나타낸 함수
순간변화율(미분계수)는 극한값을 구하는 과정이라면 도함수는 x에 대한 미분계수를 함수로 나타낸 것

경사하강법(section4에서 나옴)

경사하강법? 점진적인 하강, 즉 점진적으로 반복적인 계산을 통해 파라미터 값을 업데이트하면서 오류 값이 최고가 되는 파라미터를 구하는 방식

• 경사하강법은 임의의 a, b를 선택한 후 (random initialization)에 기울기 (gradient)를 계산해서 기울기 값이 낮아지는 방향으로 진행하고 기울기는 항상 손실 함수 값이 가장 크게 증가하는 방향으로 진행함! 그렇기 때문에 경사하강법 알고리즘은 기울기의 반대 방향으로 이동한다