- 가설: psudo label된 데이터를 지속적으로 모델에 넣으면서 모델을 새롭게 학습하면 정확도가 올라갈 것이다.
실험설계: 가장 좋은 성능이 나온 예측결과를 바탕으로 데이터를 만들고 그것을 모델에 주입후 그것으로 모델 학습했다. 그후 그 모델로 예측이 나오면 다시 그 예측으로 데이터를 만들고 모델에 주입하는것을 반복하였다.
사용 모델: efficientnet_b3_pruned, 512, 256, 128 의 classifier 마지막단에 추가
검증: 데이터중에 무작위로 섞은 20%에 대해서 검증을 하였다.
결과: 처음에는 모델을 새로 학습할때에 학습률 0.0001에 early stopping 12, scheduler은 0.5로 감소하게 patience를 5로 주고 하였다.
그랬을시에 모델 성능 향상에 유의미한 결과를 얻지 못했다. 오히려 성능이 약간 하락하였다.
파란색 그래프가 처음 예측자료로 훈련시 정확도이고, 회색그래프가 그후 그 결과 모델로 훈련시 정확도 그래프이다.
모델이 제대로 훈련되지 않았다고 판단하여 모든 레이어를 풀고 fine tuning 진행하였다. 유의미한 성능향상을 얻지 못했다.
주황 그래프가 처음 예측자료로 훈련시 정확도이고, 빨간 그래프가 그후 그 결과 모델로 훈련시 정확도 그래프이다.
안녕하세요