KLUE 5강 강의

KLUE RE 실험, 4강 강의 정리

KLUE RE Baseline 분석

KLUE RE 대회 요약

KLUE RE baseline code 분석

Transformer review

Advanced Self-supervised Pre-trained Language Models

Self-supervised Pre-trained Models

GPT-1, BERT

Transformer

필수과제 3 Subword level Language Model

Beam Search, BLEU score

Seq2seq, Attention

RNN, Language model

Intro to NLP, Word Embedding

관련 내용 정리 Ensemble Voting: 투표를 통해 결과를 도출 서로 다른 알고리즘이 도출해낸 결과물에 대해서 투표하는 방식 1) Hard voting 최종 결과물에 대해서 투표해서 결정한다. 2) Soft voting 최종결과물이 나올 확률값을 다 더해서 최종결과물에 대한 각각의 확률을 구한 뒤 최종값을 도출해낸다. Bagging: Bootstr...

과제 수행 과정/ 결과물 정리 Discussion 정리 Cutmix 활용 - 최석민 facecrop + Retinaface - 안영진 Class imbalance 해결 - 진명훈 스코어 재현을 위한 seed 설정 - 김다인 train, test set 나눌 때 class도 같이 나누기 - 김진용 early stopping 관련 - 이유진 K Fold Cr...

과제 수행과정 / 결과물 정리 3. Basic Team: 대웅, 요한, 준수, 호영, 한준 Pretrained model : 대강 성능 파악 Augmentation : 적절한 방법 대강 파악, 요한 Jupyter 새로 파서 실험 용이하게 할 것 다음에 대해서 비교 실험 : backbone : Effifcient Net Loss : Focal...

과제 수행과정 / 결과물 정리 Model EfficientNet b0 compound coefficient NAS(Neural Architecture Search, 강화학습을 통해서 최적의 모델 구조를 찾아내는 법)를 이용해서 baseline network를 설계하였다. Width, Depth, Resolution 모두 증가시켰을 때 가장 성능이 크게 증...

마스크 분류 데이터셋에서 데이터 불균형이 발생한다. 성별 불균형 연령 불균형 마스크 착용 불균형 마스크 착용 : 비정상 착용 : 미착용 = 5:1:1 Multi-Class Imbalance 처리 Undersampling overfitting 위험도가 커지고 데이터 손실이 발생해서 대부분 잘 하지는 않음 Oversampling 소수 class의 데이터...