1.강의 내용

[Ai Math 3강]경사하강법 - 순한 맛

• 미분이란 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 제일 많이 사용하는 기법
• 미분은 함수 f의 주어진 점 (x, f(x))에서의 접선의 기울기를 구합니다.
• 한 점에서 접선의 기울기를 알면 어느 방향으로 점을 움직여야 함수값이 증가하는지/감소하는지 알 수 있습니다.
• 경사상승법(gradient ascent): 미분값을 더하여 함수의 극대값의 위치를 구할 때 사용
• 경사하강법(gradient descent): 미분값을 빼서 함수의 극소값의 위치를 구할 때 사용
• 경사상승/경사하강 방법으로 극값에 도달 시 움직임을 멈춤
• 변수가 벡터인 다변수 함수의 경우 편미분 사용

[Ai Math 4강]경사하강법 - 매운 맛

• 앞서 살펴 본 경사하강법은 미분 가능 & 볼록한 개형의 함수여야 수렴 보장됨
• 하지만 비선형회귀 문제의 경우 함수의 볼록성이 보장 안 되므로 수렴 보장 X (딥러닝의 경우 대부분)
• 해결책으로 SGD 사용
• SGD는 모든 데이터를 사용해서 업데이트하는 대신 데이터 한개 또는 일부 활용하여 업데이트
• SGD의 원리: 미니배치 연산
• 미니배치는 확률적으로 선택하므로 목적식 모양이 바뀜

2.과제 수행 과정/결과물 정리

[필수과제] 3
[필수퀴즈] 3, 4강

3.피어 세션

• 피어세션이 피어씁니다 발표 준비

학습 내용 공유

1.과제 코드 리뷰

• 필수과제 1,2,3 제출 후 서로의 코드를 보며 의견 공유

2.강의 내용 및 심화 내용 토론

• [Ai Math 3강]경사하강법 - 순한 맛
• [Ai Math 3강]경사하강법 - 매운 맛
• 무어-펜로즈 역행렬 내용 보충
  

4.학습회고

코드 리뷰를 처음하다 보니 기존에 생각치 않은 코드 짤 때 기준들을 확실히 잡아야할 것이고, Pre-course 기간 중 가볍게 넘어간 이론 부분을 다시 한번 보며 확실히 나의 것으로 만들어야 겠습니다.