Going Deeper
오늘은 BERT를 이용해 Pretrained model을 만드는 것을 했다. LMS에서 클라우드 버전으로 들어가면 센텐스피스 모델 학습이 안 되는 문제가 있었다. 클라우드 버전에서는 실행되는지, 안 되는지 표시해주는 것이 없다고 해서 기다렸으나 한참을 기다려도 학습이 되지 않았다. 결국 로컬로 바꿔서 노드를 봐야 했다.
어렵다고 출결 시간에 그러더니 데이터 전처리부터 시작해서 코드가 다 길다. 게다가 오늘도 계속 집중이 안 되서 노드를 많이 하지 못했다. 로컬로 돌린 LMS도 뭔가 이상하고 중간에 취업 상담에 대한 공지가 올라와서 마음이 심란하기도 했다. 그래도 억지로라도 보려고 노력 중이다.
데이터 전처리부터 그렇게 복잡하니 역시 BERT가 쉬운 모델은 아니구나 싶었다. 그래도 이론만으로는 이해가 안 되던 부분은 코드 실습을 통해 하니 조금 이해가 되는 것 같다. 하지만 모델 구현 부분에서 처음 보는 문법들이 많아서 하나씩 찾아서 이해하려다 보니 시간이 많이 걸렸다. 결국 오늘의 노드는 다 끝내지 못했다.
Exploration에서 했던 BERT는 코드의 나열이라 다 이해하지 못했는데, 이번에는 그나마 이해할 수 있어서 다행이다. 노드를 다 끝내면 Exploration과 비교해 보는 것도 재미있을 것 같다.
18주차
이번 주는 이력서를 준비해야 했고, 해커톤 발표가 있어서인지 집중이 정말 안 되었다. 그래도 다행히 노드 학습은 밀리지 않았다. 프로젝트만 밀렸을 뿐이다. (긍정적으로 생각하자!) 완벽히 이해한 것은 아니지만 한 번은 봤으니 나중에 보았을 때 익숙해지기를 바라면서 공부 중이다. 한 번으로 완벽히 이해하면 그건 굉장한 천재겠지?
고잉디퍼가 시작되면서 미래에 대한 불안감은 계속되고 있다. 최근 슬랙에 취업에 대한 글이 많이 올라오면서 더 심해지는 것 같다. 어디를 갈 수나 있을까 하는 마음이 슬그머니 올라오기도 한다. 그 때마다 그 사실을 잊기 위해 다른 것에 집중하지만 종종 흘러나오는 속마음은 어찌할 도리가 없다. 보이지 않는 길, 기약 없는 공부, 불안한 미래. 모든 것이 합쳐져서 마음을 심란하게 만든다. 그래도 나만 그런 것이 아니고, 어딘가에 내가 가야할 곳이 있다는 것, 포기하지 않고 하다보면 길이 보일 것이라는 희망을 가지고 마음을 다스려 본다.
