VIBE: Video Inference for Human Body Pose and Shape Estimation

🔴 Motivation

• Problem : video-pose-estimation 방법은 정확한 3D 신체 포즈를 생성하지 못함
• Solve : large-scale motion-capture dataset을 통해 motion discriminator를 훈련된 adversarial 방식을 사용
  

🟠 Abstract

• 인간의 움직임은 행동을 이해하는 것이 중요하다
• 기존의 방법은 훈련을 위한 실제 3D 모션 데이터가 부족하여 정확하고 자연스러운 모션 시퀀스를 생성하지 못함
• 따라서, 본 연구에서는 다음의 사항을 제안함 “Video Inference for Body Pose and Shape Estimation” (VIBE), which makes use of an existing large-scale motion capture dataset (AMASS) together with unpaired, in-the-wild, 2D keypoint annotations
• AMASS를 활용하여 실제 인간의 움직임과 시간적 자세 및 모양 회귀 네트워크에서 생성된 움직임을 구별하는 adversarial learning (적대적 학습) 프레임워크임
  ® [논문] https://arxiv.org/pdf/1912.05656.pdf
  🚹 [깃허브] https://github.com/mkocabas/VIBE
  🌐 [참고사이트 01] https://smilegate.ai/2020/11/06/vibe/
  🌐 [참고사이트 02] https://jimmyzou.github.io/posts/2019/11/human-pose-shape-estimation/

# 실행
python demo.py --vid_file sample_video.mp4 --output_folder output/

🟡 Docker - Ubuntu 설치 및 실행
® [Docker - Ubuntu 설치 및 실행 (Windows 10)]https://velog.io/@luckyboxx/Docker-Ubuntu-%EC%84%A4%EC%B9%98-%EB%B0%8F-%EC%8B%A4%ED%96%89-Windows-10
® [도커 컨테이너 vsode] https://velog.io/@jo1132/VIBE-Pose-Estimation
® [docker 컨테이너에서 pytorch 실행시 메모리 에러 해결] https://curioso365.tistory.com/136

🟢 SOTA

• 딥러닝 분야별 State-of-the-art (SOTA) 브라우저
  : 딥러닝 분야별 SOTA 알고리즘을 확인할 수 있는 사이트로, DATA SET별로 가장 성능이 좋은 방법들을 나열하고 있음
  : 최신 기술의 업데이트를 한 곳에서 확인할 수 있는 유용한 사이트임
  ® [SOTA] https://paperswithcode.com/sota