어제도 스터디를 마치고 쉬었다. 많이 지치긴 했나보다. 트랜스포머 너무 힘들다.
Going Deeper
오늘은 다행히 트랜스포머가 아니다. 그러나 다른 의미로 집중을 잘 못했다. 다양한 내용을 한 번에 소화하려다 보니 머리 속이 뒤죽박죽이다. 퍼실님은 간단히 살펴보라고 하였지만 그냥 살펴봐서는 이해할 수 있는 쉬운 내용은 아니었다. 적어도 뭔지는 알아야 하기에 참고자료만이라도 꼼꼼히 보려고 했다. 기계 번역과 관련된 개념을 전체적으로 봐서 좋았지만 간략한 소개 수준이라 추가로 살펴보아야 할 부분이 많다. 시간이 날 때 다시 한 번 보고 싶다. (그러나 시간은 항상 부족하다)
아무튼 오늘 다룬 내용은 기계 번역의 전반적인 내용이었다.
- 번역 모델의 발전 과정(규칙 기반 기계 번역 -> 통계적 기계 번역 -> 구문 기반 기계 번역 -> 신경망 기계번역)
- 훈련된 모델이 번역 문장을 생성하는 법 중 Greedy Decoding, Beam Search, Sampling
- 주어진 데이터로 더 높은 성능을 만드는 법인 Data Augmentation 기법 중 Lexical substitution, Back Translation, Random Noise Injection
- 자연어 처리 성능 측정 지표인 BLEU, (GLUE)
- 챗봇(모델 종류, 신경쓸 부분, 대표적 챗봇)
그래도 오늘은 트랜스포머가 아니라 그런지 마음의 부담은 덜했다. 요 며칠 간 도망치고 싶었던 것은 트랜스포머에 대한 부담감이었나?
뭘 했는지 모르게 시간은 빠르게 흘러갔다. 아직 노드를 못 끝냈는데 벌써 밤이다. 그래서 오늘은 산책을 하지 못했다. 오늘 안에 노드를 대충이라도 마무리해야 내일 프로젝트에 집중할 수 있기 때문이다.
낮에 노드에 집중하다보면 지쳐서 저녁에는 스터디만 겨우 참여하고 쓰러지니 프로젝트를 제대로 할 시간이 부족하다. 주말에 몰아서 해야 하는데, 3번째 프로젝트부터 감을 못 잡아서 어떻게 해야할지 막막하다. 뭐라도 생각이 나길...
오늘 동기들과 이야기하다가 몇 사람은 벌써 아이펠 졸업 후를 준비하고 있음을 알았다. 나도 이제 슬슬 준비를 해야 하는데, 눈 앞에 노드와 프로젝트가 있으니 미루게 된다. 아직 뭘 어떻게 해야 하는지도 모르겠고. 모두연의 QA에 지원을 할지, 아니면 영어 교육쪽으로 가야할지, 그것도 아니면 AI 교육이나 글을 쓰는데를 가야할지 모르겠다.
