[boostcampAI P stage] week 17-18
1.(1강) 최적화 소개 및 강의 개요
강의 소개모델 최적화 강의에 오신걸 환영합니다!이번 시간에는 첫 시간인 만큼 딥러닝 모델 최적화에 대한 전반적인 소개와 강의 내용에 대한 전반적인 소개를 합니다.어떻게 하면 같은 성능을 유지하면서 더 작고 더 빠른 모델을 만들 수 있을까요?어떤 기법을 사용해야 딥러닝
2.(2강) 대회 및 데이터셋 소개
강의 소개모델 최적화 대회를 소개합니다.데이터의 Capacity 에 맞는 모델 크기의 중요성과 효율성에 초점을 맞추어 높은 효율의 모델을 찾아내는 것이 목적입니다.Classification task 로 진행되고, F1 Score 와 모델의 실제 inference 속도를
3.(3강) 작은 모델, 좋은 파라미터 찾기: AutoML 이론
강의 소개 AutoML이 발전하다 보면 언젠가는 사람이 모델을 만들일이 없는 날이 올 수도 있습니다.여러분들은 AutoML 하면 어떤 것이 떠오르시나요? 모델을 찾는 모델? 자원이 풍부해야만 적용할 수 있는 것?왠지 모르게 멀게만 느껴지시지는 않는지요? 생각보다 Aut
4.(4강) 작은 모델, 좋은 파라미터 찾기: AutoML 실습
강의 소개이번 시간에는 AutoML 을 직접 구현해보겠습니다.AutoML을 하기 위해서 모델을 쉽게 만들 수 있어야겠죠. yaml 파일에서 모델을 만드는 법을 학습 합니다.모델을 쉽게 만들 수 있게 되었으면 Optuna를 사용하여 자동으로 모델을 찾는 법을 학습 합니다
5.(5강) 작은 모델, 좋은 파라미터 찾기: Data Augmentation & AutoML 결과 분석
강의 소개네트워크를 성공적으로 학습시키기 위해서는 많은 양의 데이터가 필요합니다. 하지만 대부분의 상황에서 저희는 한정된 양의 데이터밖에 제공 받지 못합니다. 때문에 한정된 양의 데이터를 가지고 많은 양의 데이터로 학습시키는 효과를 내기 위해 data augmentat
6.A. 모델 경량화 기법 101 - CV
강의 소개 모델 경량화 기법에는 다양한 방법론들이 있습니다. 주요 경량화 기법으로는 Pruning, Knowledge Distillation,Weight Factorization, Quantization이 있습니다. 이번 시간에는 본 강의에서는 다루지 않는 Prun
7.B1. 모델 경량화 기법 101 - NLP Part 1
Original task -> Target task로의 fine tuning하는 방식이 주된 흐름기본적으로 transformer 구조(CV 대비 구조의 작은 변화)ProsLarge model -> small model 방식의 KD와 좋은 궁합모델 구조가 거의 유사해서,