어제 창업 스터디 스터디를 들었다. 창업에 대한 구체적인 계획을 어떻게 짜야 하는지에 대해서 자세한 설명을 들었다. 아직 아이템이나 아이디어가 없어서 어떻게 적용시켜야 하는지는 모르겠다. 스터디를 듣고 나니 힘들어서 아무 것도 하지 못 했다. 체력을 키워야겠다는 생각이 든다.
해커톤
오늘 오전은 어제 하지 못했던 BERT 발표 준비를 했다. BERT를 코드 중심으로 다시 보았다. 인코더 부분은 트랜스포머와 비교하면서 보는데, positional embedding 부분이 아무리 봐도 다른 거다. 나중에 BERT 이론 발표를 들으면서 BERT에서 position embedding은 학습시키는 것이라는 걸 알게 되었다. 왜 그 부분을 보지 못했을까 싶다.
어제 잠시 이야기를 나눈 GLUE tasks를 보았다. MNLM과 RTE가 두 문장이 이어지는지를 본다고 노드에 나와서 보았더니 개념이 완전히 달랐다. 둘다 Entailment 문제였다. 문맥을 보는 우리의 문제와는 다른 문제라 다른 task를 찾아야 했다. 어쩌다 발견한 것은 Sentence Ordering Task였다. Paper with code에서 살펴보니 관련된 논문은 7개였고, 그 중 코드가 존재하는 것은 3개였다. 우선 코드가 존재하는 최신의 논문을 살펴보았다. 시간이 부족해 Abstract, Introduction, Conclusion만 보았다. 그래프 이론과 RNN을 합친 GNN을 사용해 문장의 순서를 찾는다고 했다. 팀모임 때 잠시 살펴보니 모델 구조에 BERT가 들어가 있었다. 자세한 것은 주말에 논문을 봐야할 것 같다.
2시 반에 구글밋에서 해커톤 담당 퍼실님과 진행 상황에 대해 이야기를 나누었다. 데이터를 모으면서 공부와 베이스라인을 짜라고 하셨다. 다음주부터 베이스라인을 바로 짜야할 것 같다. 우선 해봐야 되는 건 맞는 거 같다. 공부만 하다가는 막상 결과를 낼 수 없다. 데이콘 때 그랬던 것처럼. 해보고 모르면 공부하자!
오늘 팀별로 모여서 한 것은 CS231n, BERT 이론 발표. 코드 리뷰였던 내 발표는 또 다시 미뤄졌다. 하, 주말에 또 봐야 한다. BERT와 나랑 뭔 관계가 있는건지. 이번 기회에 BERT는 확실히 보자는 마음으로 다시 봐야겠다. 여러 번 봐도 코드나 이론이 익숙치 않은 부분은 항상 나온다.
주말에는 Sentence Ordering Task 관련 논문을 봐야할 것 같다. 그리고 파쇄 문서 복원에 관련된 논문도 보고 싶다. 숙제는 아니지만 그걸 봐야 좀 감을 잡을 수 있을 것 같다. 지금은 뭔가 뜬 구름 잡는 느낌이기 때문이다.
20주차 후기
벌써 20주차가 지났다니! 시간이 참 빠르다. 이번주는 해커톤을 시작하는 주이기 때문에 쉬어가는 느낌이 더 컸다. 모임도 오후에만 갖고 이론 공부만 하니 별로 한 것이 없다라는 느낌도 든다. 덩달아 나도 조금 쉬어가고 있다. 스터디도 거의 다 끝났고, 마무리되고 있다는 느낌이 크다.
해야할 것이 많았지만 아무 것도 제대로 못한 주였다. 이것저것 한다고 시간만 보냈지 딱히 뭔가를 한 것이 없었다. 오늘부터라도 시간 관리를 잘 하면서 공부를 다시 시작해야 할 것 같다.
