강의 내용 복습

(07강) Instance/Panoptic Segmentation and Landmark Localization

• semantic segmentation
  단순히 픽셀 마다의 클래스를 분류->동일한 클래스에 속하는 개별 물체를 구분하지 못함
• instance segmentation
  영상 내에 동일한 물체가 여러 개 존재하는 경우에 각각의 물체를 구분하며 동시에 픽셀 단위의 mask도 예측하는 방법.
• panoptic segmentation
  semantic segmentation과 instance segmentation을 결합하여 더욱 복잡한 task.
• landmark localization
  각 물체를 대표하는 점들을 예측하여 물체를 인식하는 방법.사람의 동작을 인식하는 human pose estimation에 주로 사용.Landmark localization을 대표하는 모델인 hourglass

1. Instance segmentation

1.1 What is instance segmentation?

1.2 Instance segmenters

2. Panoptic segmentation

2.1 What is panoptic segmentation?
2.2 UPSNet & VPSNet

3. Landmark localization

3.1 What is landmark localization?
이미지에서 중요하다고 미리 정의 해놓은 landmark(ket point) 추적

3.2 Coordinate regression vs. heatmap classification

a.Coordinate regression : 부정확
b.heatmap classification : 채널들이 각각의 키포인트를 담당. 하나의 키포인트를 하나의 클래스로 생각하여 calssificaion 하는 방법

landmark하나가 (x,y) 위치에 있다 라는 label이 주어졌을 때 각 위치마다 confidence score가 있는 heat map 출력

landmark to Gaussian heatmap
xc, yc: 정사각 feature map의 정가운데 좌표

3.3 Hourglass network
Stacked hourglass modules : UNet구조와 거의 동일, skip connection으로 low-level reature 포착

차이점

1. concat이 아닌 sum으로 합치므로 channel이 늘어나지 않음
2. skip connection에서 그대로 전달하는게 아니라 convolution 을 거쳐서 전달

3.4 Extensions

• DensePose
  
  신체 전체의 dense한 landmark를 찾으면 -> 3d 구조를 알게되는것과 같음.

• UV map
  
  3d mesh의 한점이 1대1로 매칭이되게 2d로 flatten 한 representation
  3d mesh가 움직여도 매칭은 그대로 보존됨

DensePose의 구조

• ReinaFace
  다양한 task를 여러 brach를 통해 한번에 수행함
  얼굴에 대한 조금씩 다른 task를 수행하면서 공통된 정보를 통해 backbone이 더 강하게 학습되는 효과

• Extension pattern
  
  vision에서는 backbone에 원하는 branch를 구현하는 것으로 task 수행

4. Detecting objects as keypoints

4.1 CornerNet & CenterNet

• CornerNet
  
  bounding box가 좌상단, 우상단 두개의 좌표로만 이루어져있음
  embedding을 통해 corner의 pair를 찾아 bounding box를 추출할 수 있게 함
  single stage 구조, 성능보다는 속도에 집중

• CenterNet
  
  코너 뿐아니라 Center point까지 추가해서 성능 향상을 도모함

• CenterNet(2)
  
  bounding box 를 center point와 width, height 만으로 정의하여 성능 향상

Further Question
(1) Mask R-CNN과 Faster R-CNN은 어떤 차이점이 있을까요? (ex. 풀고자 하는 task, 네트워크 구성 등)

(2) Panoptic segmentation과 instance segmentation은 어떤 차이점이 있을까요?

(3) Landmark localization은 human pose estimation 이외의 어떤 도메인에 적용될 수 있을까요?

Ref

---

과제 수행 과정 및 결과

---

피어 세션

---

학습 회고