Predecessor
내가 진행한 연구의 기반이 된 교수님의 논문
Kim, H., Lee, H., & Ahn, S. H. (2022). Sys tematic deep transfer learning method based on a small image dataset for spaghetti-shape defect m onitoring of fused deposition modeling. Journal o f Manufacturing Systems, 65, 439-451.
[systematic deep transfer learning]
Systematic deep transfer learning
적층 제조(AM), 특히 FDM 공정에서 스파게티형 결함을 감지하기 위한 심층 전이 학습 방법의 개발이다.
데이터는 매우 적고, 데이터 다양성을 위해 데이터 증강 기법을 적용했다.
모델은 ImageNet에서 사전 학습된 네 가지 CNN 아키텍쳐를 사용했다. VGGNet, GoogLeNet, ResNet, EfficientNet.
고정 특징 추출 및 미세 조정이라는 두 가지 주요 방법을 사용했다. 미세 조정 전략은 선택된 모델을 여러 훈련 섹션으로 나누어 진행했다.
ResNet50이 90% 이상의 높은 정확도를 보였고, 해당 모델은 메모리 크기와 계산 시간 면에서 효율적! 실시간 응용 프로그램에도 적합!
기존에는 네 가지 CNN 모델에서 총 103개의 훈련 실행이 필요하나, 제안된 방법에서는 모델의 구조를 나누어 각 섹션별로 체계적인 훈련을 수행하기 때문에 총 24개의 훈련 실행만이 필요하다. 이를 통해 모델의 특정 부분을 집중적으로 학습시켜 성능 최적화.
Hyperparameter selection
전이학습의 성능은 선택된 사전 학습 모델과 학습 구성에 크게 의존한다. 특히, 모델의 학습 과정에서 사용되는 하이퍼파라미터 설정은 모델의 성능에 큰 영향을 미친다.
그런데 일반적으로 전이학습에 사용되는 하이퍼파라미터는 개발자의 경험적 지식에 기반되어 선정되기 때문에, 하이퍼파라미터를 최적화할 수 있는 방안이 함께 고민되어야 한다.
Overview
사전 학습된 CNN 모델 중 ResNet50 모델을 base model로 선정하고, 전체 레이어를 유지한 채로 베이지안 최적화를 진행했다. systematic transfer learning이라는 좋은 틀이 있지만, 베이지안 최적화의 효과를 확인하기 위한 조건임.
최적화의 대상으로는 학습률, 훈련 배치 크기, 검증 배치 크기를 선정. 목적 함수는 검증 손실로 설정.
Results
베이지안 최적화를 통해 모델의 테스트 정확도가 약 3% 향상되었다. 이와 같은 자동화된 하이퍼파라미터 최적화 기법은 모델 개발 과정에서 많은 시간과 노력을 절약할 수 있고, 전문지식이 없는 사용자도 효과적인 모델 튜닝이 가능하다.
