Going Deeper
오늘의 노드는 트랜스포머로부터 발전된 모델을 살펴보았다. ELMo, GPT, BERT, Transformer-XL, XLNet, AlBERT. 오늘은 동기들과 함께 노드를 살펴보기로 했다. 몇 명이 모여서 함께 읽으면서 모르는 부분을 토론하는 식으로 공부했다. 살펴볼 모델이 많아서 생각보다 시간이 오래 걸렸다.
4시가 다 되어 노드 읽기를 마쳤고, 노드를 다시 보면서 정리를 시작했다. 중간에 해커톤 팀 빌딩 때문에 L님과 이야기를 하곤 했다. 마지막 1명이 잘 안 구해져서 고생을 하시더니 5시쯤에서야 팀 빌딩이 완성되었다. 이제 해커톤이 다가왔다는 실감이 난다.
수업을 마치고
노드 정리는 아직 다 하지 못했다. 이 부분은 오늘 안에 다 할 수 있기를 바란다. 그 외에 모델이 많아서인지 노드의 내용이 간략하기 때문에 모델 정리를 다시 해야겠다는 생각이 든다. 노드만 가지고는 각 모델이 어떤 것인지 감이 잘 안 잡히기 때문이다. 시간이 걸리겠지만 하나씩 하다 보면 언젠가는 끝내지 않을까 싶다.
AI 초심자