[Week 3-4] 💡RNN

3주차 목요일

• 시계열 데이터 처리 모델
• RNN

---

📝[시계열 데이터 처리 모델]

문자열, 소리, 주가 등의 전후관계가 중요한 정보를 시퀀스 데이터라고 한다.
이런 데이터들은 서로 독립적이지 않기 때문에 순서를 바꾸거나 과거 정보에 손실이 발생하면 데이터의 확률분포가 바뀌게 된다. 개가 사람을 물었다 / 사람이 개를 물었다 와 같이, 자연어 데이터 시퀀스들의 순서를 뒤섞으면 완전히 다른 의미가 된다.

이전 시퀀스의 정보를 가지고 앞으로 일어날 사건의 확률분포를 다룰 때는 조건부 확률을 사용한다. 또한 시퀀스 데이터는 timestep이 늘어날수록 데이터의 길이도 늘어나기 때문에, 시퀀스 데이터를 처리하는 모델은 길이가 가변적인 데이터를 다룰 수 있어야 한다.

시퀀스 데이터의 t번째 사건은 t-1번째부터 1번째 사건에 영향을 받기 때문에, t번째 사건 X_t는 조건부확률을 사용하여 다음과 같이 나타낼 수 있다.
t번째 사건을 모델링하는 데 이전의 모든 정보를 다 사용하지 않고 일부 데이터 (길이 τ 만큼의 이전 시퀀스) 만 사용할 수도 있는데, 그런 경우 AR 모델 (Auto Regressive model) 이라고 부른다.

AR 모델은 입력 데이터가 항상 일정한 수의 시퀀스로만 구성되어 있기 때문에 입력 데이터의 길이가 고정되어 있다는 장점이 있다. 하지만 예전 정보가 손실된다는 문제도 존재한다. 이를 보완할 수 있는 잠재 AR 모델은 t번째 시퀀스를 구성할 때 바로 이전 데이터 X_t-1 만 남기고 그보다 더 이전 데이터들을 잠재 변수 H_t 로 묶어서 처리한다. 현재 데이터에 가장 큰 영향을 줄 것으로 예상되는 t-1번째 데이터와 그보다 더 이전 정보인 잠재 변수 2가지를 사용하므로 입력되는 데이터의 길이가 고정적이면서도 예전의 정보들을 모두 담을 수 있다는 장점이 있다.

---

📝[RNN]

RNN 신경망은 잠재 변수를 활용하여 이전 timestep의 데이터 정보를 현재 timestep에 반영한다. 가장 기본적인 RNN 구조를 보면 잠재 변수를 사용한다는 것 외에는 MLP 모델과 유사하다.
하지만 이와 같은 모델은 과거의 정보를 다룰 수 없다. RNN 모델은 여기에 과거 정보 term을 추가하여 다음과 같이 나타낼 수 있다.
가중치 행렬이 3개라는 것을 참고하자.

---

👨‍👩‍👧‍👦[피어 세션]

오늘도 미니 세미나가 진행되었는데, 어제 강의 후반부의 image segmentation 부분이 너무 어려워서 무슨 이야기인지 이해하는 데 시간이 좀 걸렸다. 오늘 강의는 정말 장난 아니게 어려워서 다 이해하지 못했는데, 다들 그래서 내일 피어 세션 시간에는 세미나 말고 각자 공부해서 알게 된 것들을 나누기로 했다. 그 밖에도 파이토치에 좀 익숙해져서 우리 조도 뭔가 프로젝트를 해 보자는 이야기가 나왔다. 괜찮은 책이나 위키독스 같은 걸 보고 조금씩 공부하려고 한다.