Date: 2021년 8월 3일

과제 1, 2, 3 Review

• 시간 복잡도를 고려

• 정렬 / 선형

• string 처리 / replace, re

• Dictionary

• string.capitalize() 함수

  
  Colab - shift + tab

  jupyter - tab

  • strip, split 구분하여 사용하기

과제 4, 5 Review

AI Math 1-4 Review

경사하강법 수식

Q. b$^{(t+1)}$내용은 왜나오는건지, 왜 저수식이 만족하는 것인지

mini-batch

Q. ML model training시에 batch의 의미와 경사하강법에서 batch와 의미가 다른 것인가?

ML의 batch에서는 Epoch라는 모든 데이터셋의 개념이 존재하는데 경사하강법에서는 Epoch와 batch의 의미가 동일시 되는 것 같음

https://m.blog.naver.com/qbxlvnf11/221449297033

https://nonmeyet.tistory.com/entry/Batch-MiniBatch-Stochastic-정의와-설명-및-예시

stochastic gradient descent (SGD)

Q. 이 그림에서 극소값으로 점진적으로 이동하는 것처럼 되는데, mini batch를 여러개 이용하여 돌리게 될때, 이전 mini batch의 결과 값들이 model에 어떻게 삽입할까?

Reference

1. Moore-Penrose Inverse Matrix

   

   n ≥ m 이면 (A+)A = I 만 성립하고, n ≤ m 이면 A(A+) = I 만 성립!

   cf) (가로로 긴거) * (세로로 긴거) = I

   

2. 연립방정식 풀기

   

   연립방정식을 Ax = b로 표현 가능

   식의 개수는 n, 변수의 개수는 m

   → n = m 이면 해를 구할 수 있으나 n ≤ m 일 때에는 해가 무한히 많다(부정) 그 중에 하나를 구해보자!

   

   (처음에는 이렇게 이해함)

   1. Ax = b 의 양변 왼쪽에 A+를 곱한다.
   2. (A+)Ax = (A+)b
   3. A+는 pseudo inverse니까 (A+)A = I 구나
   4. (좌변) = (A+)Ax = I x = x 여서 x = A+b 군!

   (의문) 엥 근데 n≤m 일때에는 A(A+) = I 만 성립한다고 함 → 3번이 가능한지 모르겠음

   (나중에는 이렇게 이해함)

   1. x = (A+)b를 Ax = b에 대입해보자.
   2. (좌변) = Ax = A(A+)b = I b = b = (우변)
   3. 오 대입했더니 성립하네
   4. x = (A+)b는 하나의 해가 될 수 있음

내일 피어세션에서 할 것

• 선택과제 풀기
  인원을 나눠서 각 문제 별로 진행

1번 지훈 서윤

2번 상우 민식 경재

3번 범진 대희

• 각 팀별로 강의 + 과제 진행 후 피어세션에서 쉐어

피어세션이 피어씁니다

발표자 박범진

Date: 2021년 8월 4일

1) 선택과제 1

선택과제1 Gradient Descent

gradient_w

gradient_b :마찬가지로 b에 대해서 미분.

2) 선택과제 3

개념 Review

• 회귀분석 W, b를 위한 편미분
• CNN
• MLE
• RNN

필수과제 5번 Review