3D Pose Searching

3D Pose Searching

• 특정 영상 내에서 프레임 단위의 human 3D pose를 도출하고 (3D human pose estimation)
• RGB 이미지를 통해 검출한 pose와 유사도를 도출한다 (pose similarity)
• 추가적으로 영상 내에서 사람의 유무, 혹은 특정 포즈에 어떠한 증거로 해당 프레임을 제외하는 방안을 고려

[Pose similarity 측정 지표]

1. Cosine similarity 및 Euclidean distance

• 각 keypoint들의 x, y 좌표의 array output을 벡터로 전환하여 계산
  1. 이미지 및 keypoint 좌표를 crop 및 scale (사람 위치 조정 및 크기 일정)
  2. keypoint 좌표에 대해서 L2 정규화 (각 벡터가 unit norm을 가지도록)
  3. 두개의 pose 벡터에 대해서 cosine similarity 계산
  4. euclidean distance 적용
  5. 정규화된 단위 포즈 벡터 P1xy 및 P2xy의 cosine distance 계산

2. Application of weighted confidence score

• human pose estimation 관련 모델에 각 keypoint에 대한 confidence score가 존재하는 경우 활용
  • confidence score는 계산된 spot에 keypoint가 존재할 가능성을 의미
  • 일반적으로 confidence score는 오브젝트일 확률 * IOU 값으로 계산되며 여기서 오브젝트일 확률은 classication 단에서 softmax 값으로 계산
• joint 데이터에 가중치를 부여하여 신뢰도가 낮은 joint가 높은 신뢰도 joint보다 distance metric에 미치는 영향을 줄임
  • P1xy 및 P2xy는 keypoint k에서 x 및 y 위치
  • P1과 P2는 L2 정규화 후 두 pose 벡터
  • P1ck는 P1의 keypoint k에 대한 confidence score
  • 17은 PoseNet 모델의 17개의 keypoint

3. Flow-Based Pose Similarity

• Object Keypoint Similarity (OKS)를 기반으로 해당 body joints 간의 거리를 비교
  • OKS는 COCO (Common Objects in Context) 데이터 세트 (객체 감지, 세분화 및 캡션 용)에서 사용되는 측정 항목으로, 감지 된 keypoint가 학습 모델 내의 target keypoint 인 Ground Truth에 얼마나 가까운 지 측정

• Keypoint constant는 계산 과정에서 fall-off를 예방
  • 위의 값은 COCO에서 정의한 keypoint 상수

• body joints가 완벽하게 일치하면 OKS 값은 1
  • 반대로 keypoints가 머얼리 떨어지면 OSK ≈ 0 (표준편차 s * ki)

• 영상 내 human pose estimation시 서로 충돌하거나 물체에 겹칠때 발생하는 문제를 해결하기 위해 개발
• 과거 프레임에서 pose를 취하고 현재 프레임과 비교하여 누락된 중간 프레임을 매핑하는 기능 생성에 사용
  • 두 개인의 pose를 비교하기 위해 만들어진 것은 아님
• 주요 목적은 두 개의 스케일링 된 pose에서 keypoint를 비교하는 것으로, 두 개의 개별 pose에서 알고리즘을 사용하려면 두 사람 사이의 크기 차이를 설명하기 위한 몇 가지 조정이 필요

Cf) Move Mirror

https://experiments.withgoogle.com/move-mirror

References
https://medium.com/@cavaldovinos/human-pose-estimation-pose-similarity-dc8bf9f78556
https://openaccess.thecvf.com/content_ECCV_2018/papers/Bin_Xiao_Simple_Baselines_for_ECCV_2018_paper.pdf
https://github.com/freshsomebody/posenet-similarity
https://arxiv.org/pdf/1702.00186.pdf