[Boostcamp AI Tech] 1주차 Day 4 학습기록

bluegun·2021년 8월 5일

Boostcamp AI tech

AI Tech 2기 활동

목록 보기

4/87

학습 내용

RNN 기초

주요 용어
- 시퀀스 데이터 : 순차적으로 들어오는 데이터(소리, 문자열, 주가 등)
- 자기회귀모델(Auto-regressive model)
- 잠재 AR 모델
- Backpropagation Through Time(BPTT)
중요 개념
- 시퀀스 데이터는 시간 순서의 영향을 받는다.
  -> 미래 정보는 과거 정보의 영향을 받는다.
  -> 데이터 순서를 바꾸거나 손실이 발생하면 확률분포가 바뀐다.
  -> 데이터가 독립적인 경우가 잘 없다.
- 시퀀스 데이터는 과거 정보의 영향을 받지만, 그렇다고 모든 과거 정보가 필요하지는 않다. 현재 정보로부터 가까운 과거의 정보만 필요한 경우가 있다.
  -> 자기회귀모델(Auto-regressive model)에서는 현재 정보 기준 이전 정보 몇 개만 참조한다.
- AR 모델에서, 상황에 따라 현재와 가까운 데이터가 필요할 때도 있고, 갑자기 먼 과거의 데이터가 필요해질 수 있다. 즉, τ의 길이가 가변적일 수 있다.
  -> 이를 고정적으로 하기위해 잠재 AR 모델이 나왔다.
- 잠재 AR 모델 : 현재 기준 직전의 데이터와 그 이전의 데이터를 나눠서 활용한다.
- RNN : 잠재변수 $H_t$ 를 신경망을 통해 반복적으로 사용해 시퀀스 데이터의 패턴을 학습하는 모델
  - 현재 입력벡터 $X_t$ 와 이전 시점 잠재변수 $H_t-_1$ 를 활용해 $H_t$ 를 만들고, 이는 다음 $H_t+_1$ 을 만드는데 사용된다.
- BPTT : RNN의 역전파방법
  - 시퀀스 길이가 길어지면 Π항이 불안정해지기 쉽다.
    -> 이후 GRU, LSTM의 개념이 나오게된다.

피어 세션

선택과제 1, 3에 대해 코드를 보며 수학적 개념이 어떤지, 수식이 어떻게 되는지, 코드로 어떻게 짜는지 얘기함.
Image classification을 하기전에 ImageNet에서 유명한 모델에 대한 논문을 찾아 읽고 발표하는 스터디를 하기로 함
-> 주말에 AlexNet 관련 준비해서 다음주 월(08.09)에 발표예정

이벤트

마스터 클래스(임성빈 교수님)

하신 말씀 중 기억해야 할 것들
- 수학은 전부 알진 못해도, 공부할 필요가 있을 때 빠르게 배워 따라잡을 수 있을 만큼의 실력은 쌓아놔야 한다(기초체력)
- 선형대수, 확률, 통계학은 꼭 알아야한다. 미분은 그 의미를 알아야 하고, 알고리즘이나 최적화도 알면 좋다.
- 논문에 구현 코드가 없어도 논문만 보고 코드를 구현할 수 있을 정도의 실력이 중요하다. 수학적 개념을 통해 표현할 수 있는 실력이 있으면 좋다.
- 책은 Dive into Deep learning 책을 추천해주셨다.
  - 링크 : https://d2l.ai/index.html

느낀점

어제에 이어 수학적 지식(통계, 확률, 그 외 수식들)을 이해하고, 이를 코드로 표현하는 능력이 부족하다는걸 절실히 느꼈다.
이에 따라 강의 내용을 이해하는 데 시간을 많이 쓰게 되어 시간이 부족하고, 완전히 이해가 되지 않은 상태에서 블로그에 정리글을 올리려고 하니 제대로 표현을 하지 못해서 글쓰는데 시간이 걸리고, 이로 인해 과제할 시간이 부족하고... 이와 같은 악순환이 생기고 있는 것 같다.
당장 강의 내용에 대한 이해가 중요하다고 생각하기 때문에, 블로그에 매일 올리는 기록은 필요하면 정말 간단하게 정리해서 올리고, 그 시간에 강의 내용을 더 정리해야겠다. 여기 적으면서 정리하기에는 하루만에 정리가 되지 않는 일이 있을 것 같으니까, 모르는 내용은 매일 기록해두고 일단 넘어가자.
대신 블로그에 정리 못한 내용은 주말이나 여유시간을 투자하여 따로 글로서 올릴 수 있도록 해야겠다.