인간은 일상에서 중심이 되는 object
따라서 '인간'을 이해하기 위해서 현대의 방법으로
Human-Interacting Machines with Visual Intelligence
- motion capture
- AR/VR
- 공공장소 감시 (돌발상황을 사전방지 → 화재, 사고, 범죄)
- virtual try-on, 운동 보조, 재활 치료 등
Human-Interacting system의 궁극적 목표
- human-computer interaction (인간-컴퓨터 상호작용)
- 로봇이 사람을 자연스레 이해할 수 있다면 보조가 아닌 파트너 수준까지도
- 사람처럼 행동해야하며, 사람을 이해할 수 있어야함
- 가상 3D 세계, 메타버스
- 외부 입력장치를 통한 control → 내 움직임을 통해 투영
Human-Understanding Computer Vision(HUCV)
인간을 이해하기 위한 visual intelligence를 탑재하는 것이 궁극적 목표
Human Pose Estimation : HUCV의 핵심 연구 분야
여기서 human pose란 사람 관절의 좌표, 회전
학계 연구 분야
-
Person re-identification
quary로 들어온 두 사람의 이미지가 같은 사람인지 다른 사람인지 판별
quary에 들어온 사람의 pose를 기반으로 -
high-fidelity rendering
-
action recognition
사람이 행동을 하는 video가 입력으로 들어오고 그 action을 판별
video에서부터 pose를 추정하고 거기서 action을 recog함 -
motion transfer
하나의 비디오와 하나의 사진이 입력으로, video의 motion을 따서 사진의 사람이 그 motion 처럼 움직이도록 함 -
human image manipulation
옷의 색, 질감이나 identity, pose등을 바꾸는 등
pose estimation 중에서도 image 기반의 estimation이 매우 실용적임
tons of images in the wild(in the wild = 일상생활에서의 환경)
in the wild, single image-based huamn pose estimation
