# Label Smoothing

hajeongjj

모델의 과대적합을 막기 위한 방법들 early stopping dropout weight decaying L1 : 가중치를 0으로 만드는 경향 L2 : 매끄럽게.. 소극적 반영 L1L2 batch normalization : 틀에 맞춘다.. → regularization(억제) 효과 서로 다른 크기를 같은 scale로 맞춰준다. 튀는 데이터 학습 억제 batch마다 평균과 표준편차가 달라지므로 출력값에 일정한 오차가 생김 → 학습을 방해 Dropout과 비슷한 효과 학습 속도 향상 (안정적) 경사가 사라지거나 폭발하는 문제를 완화 Layer Normalization BN은 동일한 변수를 배치 내에서 normalization → 배치 크기가 1이면 분산을 구할 수 없음

jailies

Intro 캐글의 병든 잎사귀 식별 경진대회 'Plant Pathology 2020 - FGVC7' compeition에 참가해 여러 딥러닝 모델 성능 향상 기법을 연습해보았다. 여러 잎사귀 사진을 보고, 딥러닝 모델을 활용해 잎사귀가 어떤 질병에 걸렸는지 식별하는 다중분류 문제이다. 잎사귀가 특정 타깃값일 확률을 예측하면 된다. EDA 데이터 둘러보기 train, test, submission data를 살펴보면, training, test data의 개수가 같은걸 알 수 있고, training data는 원-핫 인코딩 형식으로 되어있음을 알 수 있다. 데이터 시각화 데

xuio

competition 대회를 진행하면서 loss의 설정에 대한 부분을 신경을 많이 쓰게 되었는데 label smoothing과 focal loss를 많이 다루게 되었다. > 그냥 좋다니까 가져다 쓰는 것 보다는 이해가 선행되는 것이 좋을 것 같아 TIL로 다루고자 한다. 그 다음에는 Optimizer에 대한 내용을 다루려고 한다. 💡 Label Smoothing 정규화의 가장 많이 사용되는 것은 레이블 스무딩(Label Smoothing)은 데이터 정규화(regularization) 테크닉이며 모델의 일반화 성능을 높여주는 경향이 있다. 위의 그래프에서 알 수 있듯이 drop out 다음으로 regularization에서 많이 사용되는 기법 중 하나이다. 그러나 그러한 사용과는 다르게 내부 작동 원리