추Node
드디어 발표를 끝냈다. 발표를 끝내고 나니 홀가분하다. 부족했는데도 잘 들었다고 해주시는 스터디원들에게 감사했다. 발표 준비는 했지만 사실 내용을 완벽하게 파악한 게 아니라서 제대로 설명하지 못한 부분도 있고, 질문에 대한 답도 제대로 하지 못했다. 그래도 어제 밤에 했던 것보다는 훨씬 나아진 것 같다. 이래서 뭐든 연습이 필요한 것 같다.
Exploration
아침에 긴장을 했다가 풀려서인가, 아니면 오늘 배우는 부분이 어려운 부분이어서인가 집중이 잘 되지 않았다. 오늘의 주제는 transformer였다. attention 다음에 나온 NLP 모델로 RNN을 사용하지 않고 병렬 처리를 통해 모델의 성능을 높였다고 한다. 여러 문장/단어를 순차적으로 인코더에 집어 넣었던 기존의 모델과 달리 한 번에 모든 문장/단어를 집어 넣고, multi-head attention을 통해 빠르게 처리한다고 한다. 사실 내용이 어려워서 정확한 개념은 잘 모르겠다. 기억나는 것은 문장이 한 번에 들어가기 때문에 문장의 위치를 기억하는 positional encoding을 해주어야 하고, 쿼리, 키, 밸류로 각 단어의 유사도를 계산한다는 것, 셀프 어텐션 등이다.
노드의 내용이 잘 이해가 안 되어서 동영상을 참고했다. 그래도 설명이 와닿지 않아서 다시 봐야할 것 같다. 피곤했는지 점심을 먹고 동영상을 보다가 깜박 잠이 들었다. 다행히 L님께서 불러주셔서 1시 반 조별 모임에 갈 수 있었다.
오후에 사람들과 게임을 했다. 이렇게 게임을 하러 간 것은 처음이다. 그림 그려서 맞추기 게임과 마피아 게임을 했다. 마피아 게임은 설명을 듣고 가이드를 보았지만 이해가 되지 않았다. 게임을 한 번 하고 난 후에도 이해할 수 없었다. 3시에 1-3조에서 아이스브레이킹을 한다고 해서 놀러갔다. 빙고를 한 판 하고 사람이 많다고 해서 나와서 노드를 시작했다.
여전히 집중이 안 되고 졸려서 대충 흐름만 파악했다. 우리 조에서 퍼실님과 몇 분이 트랜스포머에 대해서 이야기를 나누셨지만 제대로 듣지 못했다.
수업을 마치고
잠을 제대로 자지 못해서 피곤하다. 수업 후 잠시 잠이 들었다. 하지만 아직 할 것이 많다. 아이효 발표 준비를 아직 다 하지 못했고, 오늘 수학 스터디 준비도 해야한다. 어제 못한 노드도 대충이라도 봐야 하고, 코로나 데이터도 봐야 한다. 하지만 머리가 멍해서 아무 것도 제대로 들어오지 않는다. 몸이 나른하니 아무 것도 하기 싫다. 잠이 부족한 것도 있지만 목요일은 왠지 느긋해진다. 하지만 이번 주는 쉴 틈이 없다. 주말에 공부할 시간이 없을 것 같기 때문이다. 정신 차리고 할 수 있는 것을 합시다!
