이 논문은 앞 서 설명 드린 CSFD를 이용하여 빠르고 메모리적으로도 효율적인 backpropagation을 가능하게 한 논문입니다. 2020년 grad-slam이라는 미분 가능한 slam이 나왔는데 memory 문제로 인해 iteration을 60번 이상 할 수 없고 속도가 느렸습니다. x-slam은 이러한 문제를 효과적으로 해결하였습니다.
이 논문에서는 이 방식으로 3가지 SLAM을 미분가능하게 만들었습니다.
kinect-fusion, elastic fusion과 Point-Fusion입니다.
Kinect-fusion을 어떻게 미분가능하게 만들었는지 살펴보겠습니다.
Surface Measurement
pixel 값 u에 camera intrinsic parameter K, bilateral filter로 얻은 depth map을 적절히 곱해줘서 vertex map(camera로 생성한 depth map)을 생성합니다.
이 vertex map의 normal vector는 다음과 같이 계산됩니다.
이것을 CSFD를 사용하여 각각의 partial differential을 구할 수 있습니다.
Ray casting
ray는 이렇게 정의하게 됩니다.
여기서 parameter alpha를 점차 늘려가면서 표면이 어디인지 측정하게 됩니다.
표면에서 zero crossing이 일어나는 alpha를 alpha zero로 잡고 그것을 미분하여
normal vector를 계산합니다.
CSFD를 사용하기 위해서 camera pose도 허수 domain으로 확장을 해줘야합니다.
그래서 다음과 같이 camera pose를 정의합니다.
rotation vector는 로드리게스 공식을 통해 확장됩니다. 그 공식은 이와 같습니다.
θ* : 복소수로 확장된 회전 각도
a: 복소수 회전 vector의 방향 vector
[a] : a로부터 유도된 scew matrix
이렇게 확장하면 CSFD를 통해 미분을 할 수 있게 됩니다.
differentiable ICP
이 ICP의 목적함수는 모든 점과 평면사이의 거리의 합으로 정의됩니다.
Newton-method를 활용하여 최적의 transformation을 찾을 수 있습니다.
Surface Update
TSDF값은 다음과 같은 식으로 업데이트 됩니다.
여기서 w는 그 voxel값의 신뢰도를 의미하고 그것에 따라 voxel의 TSDF값을 update 해주는 것입니다. frame마다 얻은 TSDF값을 반영하여 update해줌으로써 더 정확한 Surface를 업데이트할 수 있습니다.
이 값들도 로드리게스 공식을 이용하여 확장되어 CSFD를 수행하게 됩니다.
Elastic-fusion,Point-fusion
data association
EF/PF에서 전역 모델 𝑀은 전역 모델 포인트의 비정형 집합으로 포인트의 위치, normal vector,신뢰도, time stamp와 연관되어 있습니다.
새로운 측정값들은 새로운 모델로 인덱싱되어 다음과 같은 과정을 거쳐 association됩니다.
1.깊이 허용오차를 벗어나지 않는지 확인
2.normal vector 허용오차 벗어나는지 확인
3.거리가 허용오차를 벗어나지 않는지 확인
이후, 일대일 데이터 연관이 아니라, 하나의 픽셀이 여러 전역 모델 포인트에 연결되도록 하여 그라디언트와 헤시안의 희소성을 줄이는 방식을 사용합니다.
Surface Update
기존 모델과 연관된 point가 들어올 경우 위 식과같이 전 point와의 연관성을 고려하여 surface가 업데이트됩니다. C(u)는 pixel의 신뢰도를 나타냅니다.
이렇게 만들어진 point를 앞에서 만든 복소수 domain camera transformation을 이용해서 옮긴 후 CSFD를 활용하여 미분해줍니다.
결국 중요한 부분들을 CSFD로 만들어서 계산했다는 내용을 담고 있습니다.
결과는 KF,EF,PF보다 속도는 약간 더 느려지고 정확도는 조금 더 떨어졌지만 모든 과정이 미분가능해졌기 때문에 충분히 발전할 가능성이 보인다고 생각합니다.
