[Week 7-1] 👀컴퓨터 비전

7주차 월요일

• 이미지 분류
• 데이터 부족 해결하기

---

📝[이미지 분류]

• Classifier : 입력된 이미지를 카테고리(클래스)로 매핑해 주는 모델
  만약 세상의 모든 데이터를 다 가지고 있다면 nearest neighbor 알고리즘으로 이미지를 간편하게 분류할 수 있을 것이다. 하지만 세상에 존재하는 데이터는 무한하므로 시간/공간 복잡도가 무한대라서 이 방법은 실현할 수 없다. 따라서 데이터를 압축해서 신경망 모델의 파라미터에 녹여야 한다.
  k-nearest neighbors : 주어진 데이터의 주변 이웃 k개를 통해 해당 데이터를 분류하는 알고리즘
  
  이미지를 분류하는 모델을 만들 때는 이미지의 픽셀 하나하나를 입력으로 간주하는 Fully connected MLP 모델을 만들 수도 있고, 이미지 위에서 필터를 움직여(sliding window) 이미지 내의 지역적 패턴(특성 맵)을 추출하는 CNN 모델을 만들 수도 있다. FC 레이어로 만든 MLP 모델은 CNN에 비해 성능이 다소 떨어진다. 학습에 사용된 이미지의 형태를 일종의 템플릿처럼 그대로 학습하는데, 때문에 이미지의 일부를 크롭해서 입력으로 집어넣으면 알아보지 못한다. CNN 모델은 이미지 내의 지역적 특징을 추출하기 때문에 다른 각도에서 찍은 사진이나 크롭된 이미지 등 학습한 이미지와 유사한 패턴이 입력될 때 이를 알아볼 수 있다.
  
  CNN 모델은 이미지를 다루는 데 강력한 성능을 보이는데, 이미지 분류나 영역 검출 등 여러 가지 컴퓨터 비전 문제를 해결할 때 backbone 모델로 사용된다.

---

📝[데이터 부족 해결하기]

• Data augmentation
  신경망의 학습은 데이터에서 얻어낼 수 있는 표현들을 압축해서 모델에 녹여 넣는 과정이다. 모델이 놓치는 데이터가 없도록 모든 데이터를 다 넣을 수 있면 좋지만, 학습에 사용되는 대부분의 데이터가 편향되어 있다. 사람이 카메라로 찍은 사진들을 학습에 사용하는데 대개 사진을 찍을 때는 아름답게 찍기 위해 밝은 조명 아래에서 찍거나 특정 각도에서 찍는 등의 편향이 일어나기 때문이다.
  
  극단적인 예로 고양이와 강아지를 분류하는 모델을 만들었는데, 고양이 사진은 전부 밝은 배경이고 강아지 사진은 전부 어두운 배경이었다면 어두운 배경의 고양이 사진이 입력으로 들어왔을 때 모델은 이를 강아지로 분류할 수도 있다.
  
  편향되지 않은 데이터만을 사용하거나 더 많은 데이터를 모으는 방법도 있겠지만, 시간/공간적 한계로 불가능한 경우가 많다. 이를 해결하기 위한 방법이 data augmentation으로, 학습에 사용할 데이터에 여러 가지 조작을 가해서 데이터의 양을 늘리고 편향을 줄임으로써 실제 데이터와 학습에 사용할 데이터의 간격을 좁히려는 것이다. data augmentation 기법으로는 밝기 조절, 회전, 반전, 크롭, affine 변환(=shear 변환) 등의 방법이 있다. 그 밖에 CutOut, MixUp, CutMix 등의 label smoothing 기법을 사용하기도 한다.
  affine 변환 : 선과 점, 길이 비율, 평행 관계 등이 보존되는 변환

• Transfer learning
  한 데이터셋에서 배운 지식을 다른 데이터셋에 활용하는 기술이다.
  
  1) Transfer knowledge
  어떤 데이터셋에서 학습한 모델의 마지막 FC 레이어(최종 분류하는 부분)을 잘라내고 새로운 문제에 해당하는 FC 레이어를 붙인다. 이미 학습된 CNN 레이어들은 그대로 둔 채(Freeze) 새로운 데이터셋에서 새로 붙인 FC 레이어만을 학습시킨다. 이 방법을 사용하면 CNN 레이어는 기존에 학습한 패턴을 그대로 가지고 있고, 새 FC 레이어는 새로운 데이터에 대해 학습하게 된다. 가지고 있는 데이터가 아주 적을 때 사용하는 방법이다.
  
  2) Fine-tuning
  사전 훈련이 완료된 모델의 CNN 레이어는 그대로 둔 채 FC 레이어들을 전부 새로운 문제에 해당하는 것으로 교체한다. 학습할 때는 CNN 레이어와 FC 레이어의 learning rate를 다르게 주는데, CNN 레이어가 다른 데이터셋에서 학습한 표현들을 해치지 않도록 학습율 낮게, FC 레이어는 학습율 높게 설정한다. 1번 방법보다는 많은 데이터를 가지고 있는 경우에 사용한다.
  
  3) Knowledge distillation
  Teacher-student learning이라고도 부른다. 큰 데이터셋에서 학습한 선생님 모델의 지식을 학생 모델에 전달하는 방법으로, 모델 압축에도 유용하게 사용할 수 있다.
  어떤 입력이 들어오면 사전 훈련된 선생님 모델과 훈련되지 않은 학생 모델에 각각 집어넣고 출력을 얻는다. KL divergence Loss를 통해 두 모델의 출력을 비교하고 학생 모델에 back propagation을 통해 전달, 가중치를 업데이트한다. 이를 반복하면 선생님 모델과 학습 모델의 파라미터들이 비슷해진다. 선생님 모델의 출력을 바탕으로 학생 모델을 훈련시키기 때문에 레이블을 사용하지 않는다.