MMPose RTMPose3D – Unity Sentis 테스트 기록

3D Pose Estimation이 어떻게 동작하는지 궁금해서 MMPose의 RTMPose3D 모델을 Unity Sentis에서 직접 구현해보기로 했다.

초기 목표
• 3D 추정이 실제로 잘 되는지
• Sentis에서 실시간 추론 성능이 나오는지
• 성능이 괜찮으면 작은 모델로 onnx 변환 -> 테스트 진행

진행 순서

1. Repository Pull
   • MMPose / RTMPose3D 관련 공식 리포 클론
   • demo 스크립트 구조 분석
2. Python Virtual Environment Setting
   • Python venv 생성
   • mmpose, mmdet, mmcv 버전 맞춰 설치
3. Demo Test (Python)
   • 원본 demo 3D script 실행
   • input image → 2D keypoints → 3D lifting → 결과 확인
4. Unity 환경 구성
   • Onnx 파일 구글링 후 다운로드
   https://huggingface.co/Soykaf/RTMW3D-x/tree/main/onnx
   • 기존 Mediapipe 프로젝트에 추가
   • inference 구조 및 tensor 입출력 매핑 / output → 3D Coordinates 코드 작성
   • Visualiaze script 작성
5. 최종 Test
   • Unity Editor에서 추정 결과 확인
   • 프레임레이트 및 실시간 처리 여부 체크

사용 모델

Landmark 정보
https://github.com/Tau-J/rtmlib/blob/main/rtmlib/visualization/skeleton/coco133.py

133 keypoints per person:

• 17 body keypoints (COCO format)
• 6 foot keypoints
• 68 facial landmarks
• 42 hand keypoints (21 per hand)

Onnx Output to 3d Coord 참고자료
https://github.com/Tau-J/rtmlib/blob/main/rtmlib/tools/pose_estimation/rtmpose3d.py

참고 자료
https://github.com/open-mmlab/mmpose
https://github.com/Tau-J/rtmlib?tab=readme-ov-file