📖 학습한 내용

• CNN 기반 이미지 분류 사전학습 모델

📖 핵심내용

📌 사전학습 모델

CNN모델이 어떤 것이 있고 어떤 특징이 있는지가 중요
이전 모델에 대비해서 어떻게 발전했는지
트레이드 오프점을 어떻게 찾았는지
경사손실, 과적합 등 어떻게 극복하려했는지

MobileNet

일정 수준의 성능은 유지하면서 경량화하기 위한 모델

point-wise convolution 은 뎁스 줄이기 + 필터 정보 통합하는 용도이다.

• 파라미터
  

DenseNet

-> 모든 레이어의 입력을 계속 콘켓한다.
-> 이전의 엑티베이션맵이 계속 붙는다.
-> 레즈넷에서 원본이 붙는게 흐름에 방해되기에 고안된 모델

EfficientNet

하이퍼파라이터의 설정이 균형잡히고 일정되면 성능이 올라간다는 것을 발견
width(채널수, 노드수), depth(층수), resolution(해상도)를 개별적으로 키우는 것보다, 어떤 규칙 안에서 일관적으로 3개를 복합적으로 사용하면 성능이 올라간다.

• 주요특징
  ). 네트워크의 너비, 깊이 또는 해상도 중 어떤 차원을 확장하든 정확도는 향상되지만, 더 큰 모델에서는 정확도 향상의 효과가 줄어듭니다.
  2) 더 나은 정확도와 효율성을 추구하기 위해서는 ConvNet 확장 시 네트워크의 너비, 깊이, 해상도의 모든 차원을 균형 있게 조정하는 것이 중요합니다.

• 스위치 함수를 사용하였다.

정리

훈련시에만 적용하는 것 -> 테스트때는 사용하지 않음
드랍아웃
데이터증강
샘플링

사전학습 모델 이용 방법

특징추출 부분에서는 각각의 이미지를 벡터공간에 적절히 위치시키는 역할
분류 부분에서는 위치된 이미지의 벡터를 구분하는 것

사전학습모델 그대로 사용

1) 학습데이터가 부족한경우
2) 특징 추출을 사용할 경우 -> 다른 테스크 수행이지만, 특징만 추출할때
3) 테스크가 일치할 경우 -> 카테고리가 사용자의 필요와 유사할때
＃탑층 = 덴스레이어 = 풀리커넥티드레이어

전이학습

특정 테스크를 위해서, 사전학습모델의 웨이트를 가져오는 경우

• 정의
  일반적으로 입력층에 가까운 레이어(특징추출부분)은 그대로 사용
  일반적으로 출력에 가까운 레이어(탑층, FC레이어, Dense레이어)를 새로운 task에 맞게 변경하는 것
  -> 모형의 구조 변경
  -> 일부 또는 전체 파라미터를 재학습

파인튜닝

새로운 테스크에 맞춰서 전체모델 또는 일부 가중치 조정
초기값을 사전 모델이 가지고 있는 최적값을 통해서 더 나은 출발을 함

이미지 조정

사전학습모델은 모델마다 정해진 입력값이 있다
1. 리사이즈
2. cropping
3. warping
4. padding