OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

"OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields" 논문은 기존 모델들에 비해 여러 가지 강점과 방법론을 가지고 있어 높은 평가를 받았습니다:
Openpose는 기존에 있던 모델들과 다르게 부분연결필드인 PAFs를 도입함으로써
여러 사람이 있는 복잡한 상황에서도 신체 부위를 효율적으로 정확하게 연결할 수 있으며, 실시간 처리에서도 높은 성능을 유지합니다.그림을 보면 알 수 있듯이 왼쪽 파란색 블록인 초기 단계에서 이미지의 특징 맵(F)이 네트워크의 입력으로 들어가고,PAFs(Lt)라는 각 픽셀에서 신체 부위 쌍 사이의 방향과 위치를 나타내는 2D 벡터 필드가 예측 됩니다. 그리고 예측된 PAFs를 기반으로 신체 부위의 위치를 나타내는 confidence map(S)이 출력됩니다. 이 외에도 OpenPose는 사람을 먼저 감지해야 하는 기존의 탑다운 방식과 달리, 바텀업 방식을 사용하여 개별 신체 부위를 먼저 감지한 후, 이 부위들을 연결하여 사람을 구성합니다. 이를 통해 사람 감지에 대한 의존도를 줄이고 초기 오류 발생을 방지했습니다.
cf)
그림을 보면 알 수 있듯이 왼쪽 파란색 블록인 초기 단계에서 이미지의 특징 맵(F)이 네트워크의 입력으로 들어가고, 이를 통해 부위 간의 연결을 나타내는 PAF가 예측됩니다. 이 단계에서 생성된 결과물은 중간 손실(Loss)을 통해 학습되며, 다음 단계로 전달됩니다.중간 단계(오른쪽 주황색 블록)에서는 이전 단계에서 예측된 PAF를 기반으로 신체 부위의 위치를 나타내는 신뢰도 맵(S)이 출력됩니다. PAFs(Lt)는 각 픽셀에서 신체 부위 쌍 사이의 방향과 위치를 나타내는 2D 벡터 필드로, 이 벡터 필드를 통해 신체 부위들이 같은 사람에 속하는지 여부를 판단할 수 있습니다.
부분 연결 필드(PAFs): PAFs를 도입함으로써 여러 사람이 있는 복잡한 상황에서도 신체 부위를 효율적으로 정확하게 연결할 수 있으며, 실시간 처리에서도 높은 성능을 유지합니다.
바텀업 방식: OpenPose는 사람을 먼저 감지해야 하는 기존의 탑다운 방식과 달리, 바텀업 방식을 사용하여 사람 감지에 대한 의존도를 줄이고 초기 오류 발생을 방지해 더 강력하고 효율적인 성능을 보입니다.
PAF 정교화: PAF를 정교하게 개선함으로써 신체 부위 위치를 추가로 수정할 필요 없이 정확도를 크게 향상시키며, 속도와 정밀도를 동시에 향상시킵니다.
신체와 발 검출기 통합: 이 모델은 신체와 발 키포인트 검출을 결합한 최초의 모델로, 추론 시간을 단축하면서도 각 구성 요소의 정확도를 유지합니다.
실시간 성능: OpenPose는 실시간 애플리케이션에 최적화되어 빠른 추론 시간을 제공하면서도 정확성을 희생하지 않아 실제 환경에서도 매우 실용적입니다.
이러한 특징 덕분에 OpenPose는 효율성, 정확성, 실시간 응용 가능성 측면에서 매우 뛰어납니다.
출처)https://velog.io/@mink7878/Pose-Estimation-Realtime-Multi-Person-2D-Pose-Estimation-using-Part-Affinity-Fields-OpenPose-%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0
https://reading-cv-paper.tistory.com/entry/TPAMI-OpenPose-Realtime-Multi-Person-2D-Pose-Estimation-using-Part-Affinity-Fields