- Instruction
기존의 PointNet은 포인트클라우드 데이터를 그대로 사용하면서 특징을 추출해내는 아주 좋은 기법이였다. 여기서는 점들간의 거리 metric을 사용하여 local들을 다양한 크기로 partitioning한 다음에 그 안에서 pattern을 포착해내는 방식을 사용한다. 기존의 cnn은 고정된 크기의 그리드로 진행을 했기 때문에 비균일성 데이터셋 특성상 어느 부분은 그리드 안에 점들의 밀도가 적을 수 있다. 이렇게 되면 그 그리드 내에서는 패턴을 추출해내기가 불충분하기 때문에 이를 보완하기 위해서 FPS 알고리즘으로 실존하는 점에만 neighborhood ball을 그리고 이 크기들을 다양하게 랜덤으로 적용하면서 이에 맞는 적응형 가중치를 계산해준다. 이렇게 되면 cnn보다 훨씬 더 좋은 성능을 보일 수 있게 된다.
- Problem Statement
기존의 PointNet에서는 M만(x,y,z) 이용했다면, 여기서는 거리 메트릭 d까지 추가하면서 데이터 공간 X에 대해서 X=(M,d)로 정의를 한다. 그리고 이 X를 이용해서 함수 f를 학습시키는것이 목표이다. 이 함수는 classification 함수일수있고, segmentation 함수일수도 있다.
- Point Feature Propagation for Set Segmentation
인코더 (Set Abstraction - 다운샘플링):
• 모든 점을 계산하면 연산량이 너무 많으므로, 대표 중심점들을 샘플링/그룹화하고 PointNet을 적용해 데이터 크기를 줄이면서(N→N1→N2$) 고차원 문맥 특징을 추출합니다. 디코더 (Feature Propagation - 업샘플링 & 복원):
• ① 보간 (Interpolation): 축소되었던 상위 계층(Nl)의 특징을 k-NN 역거리 가중 평균을 통해 하위 계층(Nl-1)의 전체 점 위치로 부드럽게 전파(보간)합니다.
• ② 결합 (Concatenation): 보간된 특징과, 인코더 단계에서 보존해둔 Nl-1 레벨의 국소 특징(Skip Link)을 하나로 결합(Concat)합니다.
• ③ 특징 융합 (Unit PointNet): 결합된 특징을 Shared FC(1x1 Convolution)와 ReLU에 통과시켜 두 종류의 특징(전역 문맥 특징 + 국소 세부 특징)을 하나로 융합하고 업데이트합니다.
반복: 이 FP(Feature Propagation) 과정을 입력 시점의 원래 포인트 개수(N)에 도달할 때까지 반복하여 최종적으로 각 점마다의 세그멘테이션 스코어를 얻습니다.
- Experiments - Point Set Classification in Euclidean Metric Space
MNIST 데이터셋을 2D pointcloud로 변환한다음에 classification을 한 결과 t-net이 없는 pointnet vanila는 1.30%, pointnet은 0.78%의 error rate를 기록하였다. 반면에 pointnet++는 0.51%로 Network in Network 기법과 비슷한 수준의 성능을 보였다. 그리고 ModelNet40에서는 3D pointclout로 법선 정보까지 추가한 pointnet++이 91.9%로 최고성능을 보이는 것을 확인하였다.
그리고 밀도 변화에 대해서도 dropout을 진행한것과 안한것의 차이는 크게 나타났다. 다만, pointnet에서는 전역적 추상화로 전체를 한덩어리로 뭉뚱그려 보기 때문에 밀도 변화에 대해서 덜 강건한 것을 볼 수 있다.
여기서 궁금했던 점은 PointNet에서도 segmentation할때는 global feature과 local feature을 결합하여 점하나하나의 스코어를 출력하는 형태로 진행이 되는데 PointNet++의 논문에서는 PointNet이 global만 보기때문에 밀도 변화에 둔하다고 하는데 의문이었다. 더 알아본 결과 PointNet에서의 local의 의미는 점 하나자체의 고차원 벡터를 의미했고, PointNet++에서의 local의 의미는 ball안의 영역을 의미하는것이였다.
