[Background]
Voxel?
volume + pixel의 합친 단어로, 3차원에서의 격자 단위를 의미한다.
보통의 pointcloud는 sparse하고 순서에 대해서 불규칙성을 나타내기 때문에 3D detection에 그대로 사용하기가 어려웠다. 그치만 pointnet논문부터 이 pointcloud를 그대로 입력으로 처리하기 시작했다. 그치만 3d 공간상에서 점보다 빈 공간이 많기 때문에 이것들까지 연산을 하게 되면 그 연산량이 크게 늘어나는 문제가 있다. cnn과 비슷하게 사이즈를 줄였다가 다시 늘려서 원본사이즈를 복원하는 CONV/DECONV 과정을 통해서 메모리와 계산비용에 대한 문제를 완화할 수 있다.
[VoxelNet Architecture]
-Feature Learning Network
- Voxel Partition
여기에서는 우선 이 pointcloud를 넣을 공간을 정의하기 위해서 3D 공간의 크기를 D, H, W라 하면 voxel의 길이 정보인 크기는 vd, vh, vw라고 정의한다. 그러면 분할돼서 나오는 복셀 개수인 voxel grid는 D’=D/vd, H’=H/vh, W’=W/vw라고 계산된다.
질문) 근데 나는 궁금한게 복셀크기랑 복셀그리드랑 뭐가 다른거지 그니까 3차원 공간크기를 복셀크기로 나눈게 왜 복셀그리드인지 궁금해
답변) 복셀크기는 복셀의 길이정보를 뜻하게 되고 복셀그리드는 그 복셀의 개수라고 보면 된다.
- Grouping
그다음에 이 그리드를 pointcloud가 있는 3d 공간상에 적용을 하게 되면 각 복셀그리드별로 point들이 나눠지게 된다. pointcloud는 비균일한 특성을 가지고 있기 때문에 당연히 복셀별로 들어가있는 point들의 개수가 가변적이게 될 것이다.
- Random Sampling
그런 다음에 모든 점들을 연산을 하기에는 비효율적이기 때문에 sampling을 진행을 하는데 이 샘플링의 기준은 각 복셀별로 point의 개수가 T개 이상이면 그 안에서 T개 만큼을 랜덤으로 뽑아서 샘플링을 하게 된다. 그러면 만약에 그 복셀안의 point의 개수가 T개 이하이면 랜덤샘플링을 진행하지 않고 그 안의 모든점을 연산을 하면 된다.
- Stacked Voxel Feature Encoding
이렇게 샘플링된 각각의 t개의 점들은 우선 p_i={[xi,yi,zi,ri]^T}t=1,…t라고 정의가 된다. r은 라이다에서 나온 반사광의 세기 정보이다. 그리고 각 셀에서 중심점을 찾고 이를 각점의 x,y,z 좌표와의 차이값을 구해서 7차원의 점으로 셋팅을 하고 들어가게 된다. 이 7차원의 벡터를 이제 각 레이어에 넣게 되는데 fully connected neural net, element-wise maxpool, point-wise concatenate로 이루어진다. 처음 fcn에서는 7차원의 벡터를 넣어서 feature 벡터로 변환을 해주게 되고 이것을 f_i라고 한다. 출력 목표 차원이 cout이라고 하면 그 절반인 cout/2로 나오게된다. 이 특징 벡터는 7차원(상대적인 거리정보도 포함한)이기 때문에 point의 surface를 형상화 할 수 있다. 그 다음 단계는 이 f_i를 가지고 maxpooling을 하여서 local 특징 정보인 f_i^~를 얻게 된다. 이것도 마찬가지로 f_i에서 나왔기 때문에 차원이 f_i와 cout/2로 동일하다. 마지막으로 이 f_i와 f_i^~를 concatenate하여 합치게 되면 최종적인 출력이 나오게된다. 이것이 VFE 의 전체적인 구조이다.
- Sparse Tensor Representation
공간의 90%이상이 거의 비어있기 때문에 non-empty voxel들을 list-up하여 관리하면 계산의 효율성이나 메모리 측면에서 상당한 이득을 볼 수 있다. 그래서 최종적으로 VFE는 아까 f_i랑 f_i^~한 최종 출력에 대해서 bounding box 형태인 RPN으로 출력이 되는것을 볼 수 있다. 이는 empty voxel에 대한 box에 대해서는 텐서가 없는것을 확인할 수 있다.
