CS231n : https://youtu.be/h7iBpEHGVNc
Slide : http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture3.pdf
Loss function
- 손실 함수는 현재 분류기의 성능이 얼마나 좋지않은지 알려주는 지표, 0으로 수렴할수록 성능이 좋아진다
SVM, Support Vector Machine
Multiclass SVM loss
Max(0, Sj - Sy + 1) 과 같이 벡터 형태를 통해 손실을 계산하기 때문에 이런 명칭이 붙은 것으로 보임
Loss 가 어떤 형태를 취할지 예상할 수 있다 -> 디버깅 시 유용하게 사용될 수 있다
Loss function 가 복잡할 때 생기는 문제점
테스트 데이터에 대한 정확도가 낮아진다 -> 쉽게 과적합으로 빠지는 문제가 생김
Softmax (Multinomial Logistic Regression)
데이터가 정답일 확률의 분포를 계산함
Exponenital 데이터 간의 차이 증폭(?) -> Normalize 1을 최대값으로 가지는 확률을 계산 -> 최대값 선택 등 부가 과정
Optimization
어떤 전략으로 언덕을 내려갈것인가?
특정 지점에서 경사도를 체크한다 -> 경사도의 변화를 통해 최저점을 찾아감
미분 연산에 부담이 생기므로 근사식을 이용한다
Gradient Descent
임의의 점에서 시작해 일정 거리의 스텝으로 이동하면서 최저점을 탐색한다
경사 하강법
좀더 조사해보니 학습 도중에도 학습률을 임의로 조정하는 옵션들이 많이 있는 것 같다 -> 스케쥴러
Stochastic Gradient Descent
전체 샘플이 너무 클 경우, 데이터 합으로 이루어진 미니 배치를 만들어 사용
--
새롭게 알게 된 것들
- optimizer -> Loss 공간에서 최저점을 찾아가는 로봇(?) 을 세팅하는 작업 같음, 로봇 안에 로봇이 들어있는 것 같아서 흥미로웠다
한 주의 회고
- 오랫동안 자리에 앉아있으니 컨디션이 조금씩 떨어지는 기분이 든다. 개발자에게 운동은 생존을 위해서??
- cs231 강의를 듣고있자니 다시 학부 or 대학원에 돌아간 느낌이 묘하다
- 함께 듣고있는 사람들과 좀더 자유로운 분위기에서 이야기할 수는 없을까? 퍼실님의 리딩만 따라가는 기분이 들어 조금 루즈한듯
다음주의 다짐
- 강의 중후반으로 가면서 새롭게 시도해볼 수 있는 것들은 없을까? 알려주는 것만 듣다보니 매너리즘에 빠질듯 뭔가 아이디어가 생길만한 것들을 찾아보자
- 갑자기 노트북+게더타운 서버 연결이 불안정해졌다 빨리 해결해야 강의에 차질이 안생길듯
딥러닝 한발짝