VISUAL FEATURE란?

• VISUAL FEATURE in Computer Vision
  : Visual Feature : 컴퓨터 비전의 태스크 (classification, detection, segmentation, ...)를 해결할 떄 필요한 이미지의 특성을 담고 있는 정보들을 지칭함

Backbone

• 이미지에서 중요한 Feature를 추출할 수 있도록 훈련됨
• Backbone의 역할은 주어진 비전 태스크를 잘 수행할 수 있는 압축된 Visual Feature를 산출하는 것

Vision Task : '고양이'를 찾아줘 -> 고양이 특징이 담긴 Feature 유용
Vision Task : '강아지'를 찾아줘 -> 강아지 특징이 담긴 Feature 유용

Backbone의 구조

• Layer : input이미지에서 Feature(points, edges, shapes, ...) 를 추출하기 위한 연산을 하는 층
• Backbone은 여러 개의 Layer로 이루어져 있고, 이를 통해 다앙햔 level의 Feature를 추출할 수 있음

Decoder의 역할

• 모델의 쓰임새에 따라 다양한 비전 태스크가 존재함

• Decoder는 압축된 Feature를 목표하는 테스크의 출력 형태로 만드는 과정을 수행
  1) Classification : 이미지에 있는 물체 Class
  2) Detection : 객체 위치에 Box
  3) Segmentation : 객체에 해당하는 Pixel 표시

  Backbone + (Optional) Encoder + Decoder

  이미지 인풋 -> 이미지에서 Feature 추출 및 압축 -> 압축된 Feature를 활용해 비전 태스크 형태로 출력

  Task에 따른 Decoder의 결과

• Backbone은 입력 이미지에서 유의미한 Feature를 추출한 뒤 압축하는 역할이므로, 태스크 종류가 다르더라도 동일한 backbone을 사용할 수 있음.

• Decoder의 경우에는 최종 결과를 출력해주는 역할이므로, 비전 태스크가 바뀐다면 올바른 형태로 결과를 산출할 수 있도록 디코더 구조를 변경시켜주어야함.