카메라 이미지 pixels -> world xyz coordinates

IPM(Inverse Perspective Mapping)

• 카메라 이미지 pixels의 모든 depth가 0이라고 가정
• 위 가정을 바탕으로 카메라 이미지 pixels -> world xyz coordinates
• 방법론
  • BEV map 픽셀 → 카메라 이미지 픽셀 하는 matrix를 구한 뒤 inverse 취해주는 방식
• 두괄식 결론: 아래 M 행렬 구하는게 목적
  • 

• Matrix_1(BEV map pixel 좌표계 → world xyz 좌표계(z=0) )
  • 
  • 

• Matrix_2(world xyz좌표계 → 카메라 xyz 좌표계 변환)
  • Extrinsic Matrix
    • 아래 그림은, 우리가 목표하는 변환의 시각화
    • 밑 행렬은, 회전변환(3*3 matrix 3개)과 병진변환 행렬(3*4) 에 대한 소개
    • 
    • 나는 1번에 변환하지 않고, 아래의 2 step으로 진행했음
      • world xyz -> 카메라 정육면체 xyz 좌표계
      • 카메라 정육면체 xyz 좌표계 -> 카메라 렌즈 xyz 좌표계
      • 
    • 

• Matrix_3(카메라 xyz 좌표계 → 카메라 pixel 좌표계)
  • intrinsic matrix
    • 

• 요약
  • BEV map 픽셀 → 카메라 이미지 픽셀: Matrix 3 * Matrix 2 * Matrix 1
    • Matrix 1: BEV pixel map → world XYZ
    • Matrix 2: world XYZ → Camera XYZ (Extrinsic)
    • Matrix 3: Camera XYZ → Camera pixel map (Intrinsic)
• 카메라 이미지 픽셀 → BEV map 픽셀 : Inv(Matrix 3 * Matrix 2 * Matrix 1)

NOTES

• cv2.warpPerspective를 쓸 때, src로 (h, w,3)을 넣음
• h, w는 각각 v, u 축이나,
• 우리의 M matrix는 u, v 순서임
•