Going Deeper
오늘은 하루 종일 렉처 노드를 하는 날이다. 주제는 Seq2Seq과 Attention이었다. 알고 있는 부분도 있어서 다시 정리하는 느낌으로 봤다. 먼저 언어 모델의 역사를 돌아보면서 통계적 언어 모델과 신경망 언어모델을 다뤘다. 지난 주 논문 스터디에서 논문을 읽을 때마다 통계적 언어 모델과 신경망 언어모델이라는 용어가 나왔다. 어떤 것인지는 대충 알았지만 정확히는 몰랐는데, 오늘 노드에서 다루어 주어서 좋았다. 간단히 말하자면 통계적 언어 모델은 많은 코퍼스를 훈련시켜서 언어 모델을 통해 현실에서의 확률 분포를 근사시키는 것이다. 대부분 단어의 출현 빈도수로 확률을 계산한다. 하지만 만약 코퍼스에 존재하지 않는 새로운 단어일 때 확률이 0이 나오는 희소 문제를 가지고 있고, 불용어 등과 같이 자주 나오는 단어의 빈도수가 높아 제대로 된 결과를 얻기 힘들다.
이 문제를 해결하고자 신경망 언어 모델이 나왔다. 신경망 언어 모델은 각 단어를 Embedding 벡터로 표현한 후 이전의 몇 개의 단어를 사용해 다음 단어를 예측하는 것이다. 공부를 하면서 신경망 언어 모델이 Word2Vec과 상당히 유사한 개념이라는 생각이 들었다. 마지막에 은닉층이 나오는 것만 빼면 Word2vec과 거의 같은 개념이었다.
그 후 Seq2Seq에 대해 간단히 다루었다. Seq2Seq은 이전에도 한 번 다루었던 내용이라 간단히 넘어간 것 같다. RNN의 문제였던 Gradient 소실 문제(이전에 입력했던 정보 소실)와 언어별 어순이 다르고 입력과 출력의 길이가 다른 문제를 해결하기 위해 문장 전체를 본 후에 출력하는 Seq2seq이 나왔다.
그 다음은 Bahdanau와 Luong Attention이었다. 지난 주 논문 스터디에서 읽어봤던 논문이라 이름만 익숙했다. 하지만 Introduction까지만 읽었기 때문에 자세한 내용은 몰라 이해하는데 시간이 오래 걸렸다. 간단히 말하자면 Bahdanau Attention은 인코더의 모든 hidden state의 정보를 디코더에 제공하는 것이다. 현재 시점에서 보기에 인코더의 어떤 부분이 중요한지를 알려주는 가중치를 통해 입력 문장의 중요한 부분에서 정보를 가져와 디코더에 입력한다. 이것이 여태까지 사용했던 attention이었다.
그러나 attention에는 Luong Attention이라는 것이 있는데, Luong attention은 디코더의 현재 시점의 hidden state만 사용하기 때문에 계산이 간단해진다. 또한 모든 hidden state의 벡터만 보는 것이 아니라 일부만 본다는 특징이 있다.
하지만 오늘 배운 attention에는 낯선 개념이 들어 있어서 아직 내용이 머리 속에서 정리가 잘 되지 않는다. attention을 제대로 알아야 Transformer나 BERT의 내용도 제대로 이해할 수 있다고 한다. 내일 프로젝트가 뭔지는 모르지만 오늘 배운 내용과 연관되어 있을테니 다시 볼 수 있으면 좋겠다.
수업을 마치고
오늘 노드는 시간 내에 마치지 못했다. attention이 나오면서 이해가 잘 안 되어 게으름을 피웠더니 GNMT가 나오는 부분을 공부하지 못했다. 오늘 안에 할 수 있을지 모르겠다.
7시부터 선배팅이 있었다. 이 분은 아이펠 출신은 아니고, 미니모라고 모두연에서 갭이어를 위한 지원을 해주는 프로그램에 있으시다가 최근 취업을 하신 분이시다. 데이터 분석쪽으로 취업을 하셨고 취업을 어떻게 준비하셨는지에 대해 설명해 주셨다.
9시부터는 창업 스터디가 있었다. (원래 목요일은 그냥 쉬려고 했는데, 오늘 아침에 갑자기 공지가 떠서 목요일에도 쉬지 못하게 되었다.) 오늘은 오리엔테이션처럼 창업이란 무엇인가에 대해서 이야기를 들었다. 아이펠에서 인공지능 스피커 사업을 하고 계시는 J님께서 창업에 대한 기본적인 설명을 해주셨다. 막연하게 느껴졌던 창업에 대한 개념이 피부로 와닿는 시간이었다.
연달아 취업과 창업에 대한 이야기를 듣고 있자니 많은 생각이 들었다. 이제 한 달도 남지 않은 시간 동안 내가 뭘 하고 싶은지, 어느 방향으로 가야 하는 것인지 정해야 할 때가 오기 때문이다. 아직 멀었다고 생각했는데 어느새 결정의 순간이 코 앞으로 다가오고 있었다. 아직까지는 아무 생각이 나지 않는다. 하지만 미래에 대해 매일 생각하고 기도하고 있다. 어느 곳으로 갈지 모르지만 여태까지 그랬듯 길이 나타날 것이다. 두려워하지 말고 다가올 미래를 기대하자. 기회는 반드시 올 것이다.
