해당 라이더와 3d 뎁스카메라와의 캘리브레이션을 진행하기 위해 Solve PNP로 카메라의 translation과 rotation을 구현하는 과정입니다

먼저 translation과 rotation이란

translation : 카메라가 3차원 공간에서 이동하는 이동량을 의미함
rotation : 카메라가 3차원 공간에서 회전한 값을 의미

카메라와 라이더를 활용하여 추출해야하는 정보

1. 카메라

• 2차원 이미지 상의 점
• camera coordinate : 3차원 상에서 카메라 중심을 원점으로 물체의 좌표를 표현하는것

1-1. Intrinsic parameters

• Focal length of camera(카메라의 초점거리), optimal center in the image(이미지의 최적 중심), radial distortion parameters(방사형 왜곡 매개변수)를 원소로 하는 행렬

• camera coordinate 좌표에 intrinsic parameter를 곱하면 Image coordintes 좌표를 구할수 있음

2. 라이더

• world coordinate : 3차원 상에서 특정한 점을 원점으로 삼아 물체를 좌표로 표현하는 좌표계

world coordinat과 camera coordinated로 extrainsic parameter 관계

solve PnP

• 카메라의 평면 좌표(x,y)와 world coordinate(U, V, W), camera intrinsic parameter을 통해 tranlation과 rotation을 추정하는것 값을 구하기 위해 사용되는것

0. 해당 값들을 input으로 가짐

• 3D 점 : Lidar를 활용해서 구함
• 2D 점 : 카메라 이미지 좌표계를 통해구함
• 카메라 내부 파라미터 : Opencv로 해당 환꼉에 특징점을 활용하여 구함

1. output(외부파라미터 구함)

• rotation vector
• translation vector

• 수식으로 표현
  

출처
https://velog.io/@aquila21/ORB-SLAM-2-Solve-Pnp%ED%95%9C%EB%8F%99%EB%8C%80-%ED%99%A9%EC%84%B1%EC%88%98-%EA%B5%90%EC%88%98%EB%8B%98-%EA%B0%95%EC%A2%8C

https://www.youtube.com/watch?v=tDfAbqQQO0o&list=PLoJdZ7VvEiRNUxlIXlgy7Fh8ziyt4Hw50&index=3