Boostcamp AI Tech 2기

피어세션 정리 대웅 : weights & biases 기능 추가 한진 : 대학원 관련 내용 공유, 멀티 모델 시도 내용 공유 요한 : 멘토님 답변 내용 공유 Data Augmentation을 적용했을 때 성능 좋은 단일 모델을 빨리 찾아 다음주부터 앙상블 K-fold로 여러개의 모델을 만들고 앙상블하면 성능이 좋다 앙상블시, 큰 모델과 작은 모델을 섞...

P-stage 목표: PyTorch project template에 익숙해지기, baseline code 혼자 작성해보기

과제 수행 과정/ 결과물 정리 PyTorch Template overview input/data/ │ ├──train/... │ └──eval/... image-classification-level1-04/ │ ├── train.py - main script to start training ├── test.py - evaluati...

강의 복습 내용 과제 수행과정 / 결과물 정리 질문 vscode terminal default가 bash인데 그대로 사용해도 될지? test.py 실행 방법(python3 test.py -r /opt/ml/image-classification-level1-04/saved/models/PretrainResNet18/0824_014148/config.json)...

P Stage 1일차

모더레이터: 대웅발표자: 한진, 창한회의록: 한진회고록 작성Raytune을 Template에 적용 (진행 중)음성 데이터 Template에 적용음성 데이터가 임베딩 되는 과정 및 코드 설명단어 임베딩의 역사단어 임베딩 과정금일 스페셜 세션에 대한 감상대웅님 마이크

P-stage 대비

강의 복습 내용 과제 수행 과정/ 결과물 정리 피어세션 정리 학습 회고

Generative models

Recurrent Neural Network - Sequential models: RNN, Transformer, LSTM Assignment

Convolution Neural Network - Convolution, Modern CNN, CV Applications

피어세션 정리 역할 모더레이터: 준수 발표자: 준수, 대웅 회의록: 창한 발표 준수 Back of Tricks for image classification with convolutional neural networks(https://arxiv.org/abs/1812.01187)에서 소개되었던 기법들을 간략하게 소개 Cosine Lea...

마스크 분류 데이터셋에서 데이터 불균형이 발생한다. 성별 불균형 연령 불균형 마스크 착용 불균형 마스크 착용 : 비정상 착용 : 미착용 = 5:1:1 Multi-Class Imbalance 처리 Undersampling overfitting 위험도가 커지고 데이터 손실이 발생해서 대부분 잘 하지는 않음 Oversampling 소수 class의 데이터...

과제 수행과정 / 결과물 정리 Model EfficientNet b0 compound coefficient NAS(Neural Architecture Search, 강화학습을 통해서 최적의 모델 구조를 찾아내는 법)를 이용해서 baseline network를 설계하였다. Width, Depth, Resolution 모두 증가시켰을 때 가장 성능이 크게 증...

과제 수행과정 / 결과물 정리 3. Basic Team: 대웅, 요한, 준수, 호영, 한준 Pretrained model : 대강 성능 파악 Augmentation : 적절한 방법 대강 파악, 요한 Jupyter 새로 파서 실험 용이하게 할 것 다음에 대해서 비교 실험 : backbone : Effifcient Net Loss : Focal...

과제 수행 과정/ 결과물 정리 Discussion 정리 Cutmix 활용 - 최석민 facecrop + Retinaface - 안영진 Class imbalance 해결 - 진명훈 스코어 재현을 위한 seed 설정 - 김다인 train, test set 나눌 때 class도 같이 나누기 - 김진용 early stopping 관련 - 이유진 K Fold Cr...

관련 내용 정리 Ensemble Voting: 투표를 통해 결과를 도출 서로 다른 알고리즘이 도출해낸 결과물에 대해서 투표하는 방식 1) Hard voting 최종 결과물에 대해서 투표해서 결정한다. 2) Soft voting 최종결과물이 나올 확률값을 다 더해서 최종결과물에 대한 각각의 확률을 구한 뒤 최종값을 도출해낸다. Bagging: Bootstr...

Intro to NLP, Word Embedding

RNN, Language model

Seq2seq, Attention

Beam Search, BLEU score

필수과제 3 Subword level Language Model

Transformer

GPT-1, BERT

Self-supervised Pre-trained Models

Advanced Self-supervised Pre-trained Language Models

Transformer review

KLUE RE baseline code 분석

KLUE RE 대회 요약

KLUE RE Baseline 분석

KLUE RE 실험, 4강 강의 정리

KLUE 5강 강의