1.강의 내용

[Ai Math 9강]CNN 첫걸음

• convolution 연산은 이전에 배운 MLP와 달리 달리 커널을 입력벡터 상에서 움직여가며 선형모델과 합성함수가 적용되는 구조
• convolution 연산의 수학적인 의미: 신호를 커널을 이용해 국소적으로 증폭(감소)시켜서 정보를 추출 또는 필터링하는 것
• 커널은 정의역 내에서 움직여도 변하지 않고(translation invariant) 주어진 신호에 국소적(local)으로 적용합니다.
• convolution 연산은 다양한 차원에서 계산 가능
• 2D convolution 출력 계산 방법
  입력 크기: (H, W), 커널 크기: (KH, KW), 출력 크기: (OH, OW)라 하자.
  OH = H - KH + 1
  OW = W - KW + 1
• 3D convolution은 2차원 Convolution 을 3번 적용으로 생각하면 됨
• convolution 연산은 커널이 모든 입력데이터에 공통으로 적용되기 때문에 역전파를 계산할 때도 convolution 연산이 나옴

[Ai Math 10강]RNN 첫걸음

• 시퀀스(sequence) 데이터 종류
  소리, 문자열, 주가 데이터 등
• 시퀀스 데이터는 독립동등분포(identically independently distributed) 조건에 잘 위배되기에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포도 바뀌게 됨
• 따라서 시퀀스 데이터 다룸에 주의. How to?
  1)이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부확률을 이용
  2)길이가 가변적인 데이터를 다룰 수 있는 모델이 필요합니다.
• 기본적인 RNN 모형은 MLP와 유사
• RNN은 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링
• RNN의 역전파는 잠재변수의 연결그래프에 따라 순차적으로 계산(Backpropagation Through Time (BPTT))
• 기울기 소실에 대한 해결책. How to?
  1)시퀀스 길이가 길어지는 경우(ex.바닐라 RNN) BPTT를 통한 역전파 알고리즘의 계산이 불안정해지므로 길이를 끊는 것이 하나의 방법
  2)해결책: LSTM & GRU

2.과제 수행 과정/결과물 정리

[선택과제] 1, 2, 3 진행 중
(별도의 제출 기한이 없으므로 주말까지 완료 예정)
[필수퀴즈] 9, 10강

3.피어 세션

학습 내용 공유

1.과제 코드 리뷰

• 필수과제 4 제출 후 서로의 코드를 보며 의견 공유

2.강의 내용 및 심화내용 토론

• [Ai Math 9강]CNN 첫걸음
• [Ai Math 10강]RNN 첫걸음

별도의 공부 과정 시, 참조할 만한 강의/책 추천

4.학습회고

부스트캠프 첫 주를 끝마쳤습니다.
python 언어에 익숙하다 생각했지만 필수과제 및 강의를 통해 아직 많이 부족함을 느꼈고,
학교 내 수학과/응용통계학과 전공 수업들을 들으며 이론 부분을 충분히 채웠다 생각하였지만 세부 내용에서 여전히 부족한 부분이 많았습니다.
주말 동안 부족한 부분을 조원분들 및 마스터/멘토링 클래스 등을 통해 들은 조언을 바탕으로 채워나가려고 합니다.