[부스트캠프 AI-Tech] 20주차 Day 4~5
📝주간 회고
했던 일
- Part 3.2 ~3.5 강의 듣기
- 데이터 유사도 작업 (Glove, Sentence BERT)
- KoGPT2 학습 및 하이퍼파라미터 튜닝
Keep
- 데이터 유사도 작업을 다양하게 시도한 점
- KoGPT 학습과 하이퍼파라미터 튜닝을 직접 시도한 점
Problem
- python lightning으로 짜여진 KoGPT2 코드를 허깅페이스나 더 쉽게 바꾸지 못했다.
Try
- p1: python lightning의 공식문서부터 보면서 튜토리얼을 진행해보자
기타
- python lightning으로 짜여진 KoGPT2 코드를 분석하고 더 쉽거나 원하는 대로 코드를 수정하려고 했지만 못했다. python lightning 코드를 거의 못 보기도 했고 하이퍼파라미터 튜닝에 빠져있어 시간 활용을 잘 못한 것 같다. 앞으로 1주정도 남아서 코드를 수정하기 보다는 모델의 inference에 집중할 것 같다.