Heatmap을 이용한 Pose Detection

이전 연구

• Deep pose
  • CNN을 통해 2k개의 관절 좌표를 추출하고, 좌표를 중심으로 bounding box를 만들어, 다시 CNN을 통과하여 좀 더 정교한 좌표를 예측하는 방법.
  • 한계점: 관절의 공간전 상관관계를 고려하지 않기 때문에, 이미지상에 보이지않는 관절에 대해서 예측하기 어렵다. 입력 이미지에 대해 반복되는 연산을 수행하기 때문에, 비효율적인 면이 있다.

Heatmap을 이용한 Pose Detection

• 논문: Joint training of a convolutional network and a graphical model for human pose estimation
  • 구조: Part Detector (Heatmap) -> High Level Spatial Model (Graph Model)
  • CNN을 통해서 관절이 있을 법한 위치를 나타내는 heatmap을 추출한 후, 조건부 확률의 개념을 이용하여 비정산 예측값을 제거하는 방법.
  • Part Detector(Heatmap): 두개의 이미지(원본이미지와 작게 resize한 이미지)를 각각 CNN을 거치고 크기를 맞추어 concat한 후 각 픽셀에 관절이 있을 확률을 추출.
  • High Level Spatial Model(Graph Model): 조건부 확률을 이용한 관절간의 상관관계를 판단하여, 최종 관절의 위치를 예측.
  • 한계점: Single Pose Detection.