Day 1. Monday
✏️ 복습
🙌🏻 Peer Session
- 팀 소개서 수정
- 해커톤 대비 지원 순위 지정
🏠 Homework
- 기본 과제 1 완료.
unstructured pruning을 구현 코드에 대해 배울 수 있었다.
📋 Memo
사실 오늘 휴가를 냈지만 워낙에 할 것이 많아서 피어 세션이랑 이력서 특강은 들어 왔다. 오늘이 해커톤 팀 소개서 제출 마감이라 오전에 팀원들이 최종적으로 어느 순위로 지원하고 소개서 수정 마감하고 했다고 한다. 그리고 멘토링에서 팀 소개서 피드백을 격렬하게 받고 내가 피어 세션 들어가니 그걸 바탕으로 수정해야 한다고 했다. 그래서 이래저래 다시 수정을 같이 하고 이력서 특강을 들었는데 역시 이러니 저러니 해도 그냥 스펙 좋은게 최고인 것 같다는 생각이 들었다....
Day 2. Tuesday
✏️ 복습
- Knowledge distillation
https://velog.io/@kupulau/모델-경량화-기법-2-Knowledge-Distillation
🙌🏻 Peer Session
- 모델 경량화 강의 수강
🏠 Homework
- 기본 과제 2 완료.
feature-based KD 구현에 대해 배울 수 있었다.
⚠️ Student 클래스에서 regressor를 거칠 때, logit 계산을 할 때에는 regressed features이 아니라 raw features를 넣어야 한다.
features = self.features(x)
regressed_features = self.regressor(features)
flat = torch.flatten(features, 1) # logit 계산 시에는 regressed가 아닌 raw feature를 사용해야 함
logits = self.classifier(flat)📋 Memo
오늘은 별 일정이 없어서 강의 듣기와 tech talk 준비로 단조롭게 보냈다. 피어 세션 시간도 알차게 보내지 못하고 모각공만 하니 아쉽다. 하지만 강의만 들어도 다들 바쁜 걸 알기에...해커톤 전에 열심히 공부할 수 있도록 해야겠다.
Day 3. Wednesday Christmas
Day 4. Thursday
✏️ 복습
- Quantization
https://velog.io/@kupulau/모델-경량화-기법-3-Quantization
🙌🏻 Peer Session
- 모델 경량화 강의 수강
📋 Memo
오늘 무려 인원의 반이나 휴가를 써서 매우 황량했다...피어 세션도 자동 모각공 모드...그런건 아쉬웠지만 그래도 시간을 비교적 자유롭게 쓸 수 있어서 좋았다. 특히 지금 tech talk 준비와 강의 진도 나가는 것을 병행해야 하는지라...오늘이 1차 발표 자료 제출이었는데 다행히 어느 정도 마무리가 되어서 좀 마음이 놓였다. 남은 기간 동안 더 잘 정리해서 잘 발표할 수 있도록 해야겠다. 물론 강의도 틈틈이 듣고 정리 열심히 하기!!
Day 5. Friday
✏️ 복습
🙌🏻 Peer Session
- 모델 경량화 강의 수강
🏠 Homework
- 기본 과제 3 완료.
LoRA를 직접 구현해볼 수 있었다.
📋 Memo
오늘도 인원이 반토막 나서 황량했다. 그런데다가 어제 1차 발표 자료 제출하고 나니 더 이상 뭔가 하기 싫어서 더 늘어져 버렸다. 연휴 분위기 때문인지 지금까지 너무 달려버린 탓인지...주말까지만 쉬고 다음 주부터 다시 달려야겠다.
