Stable and Consistent Prediction of 3D Characteristic Orientation via Invariant Residual Learning
논문의 선택하게 된 이유
3D Vision 공부를 하면서 서로다른 방향을 갖고 있는 데이터를 어떻게 처리해야될지 의문점이 생겼는데 이를 하나의 방향으로 나타낼 수 있는 방법에 대해서 언급하는 논문이라서 읽게 됐다. 기존의 논문들은 stability와 consistency 2개를 완벽하게 만족시킨 모델은 거의 없고, 만족시킨다하더라도 계산 비용이 크다는 단점이 있다는 논문들이 많았다. 논문을 읽을 때 위의 한계점을 어떻게 극복했는지를 중점적으로 보면 좋을거같다.
용어 정리
Canonicalize: 특정 데이터를 다른 형태로 변환해도 원래의 특성을 잃지 않게 분석하는 것
stability: 변환이 있어도 데이터가 일정하게 유지되는 속성
consistency: 다양한 각도에서 촬영된 데이터를 표준적으로 맞춰야한다.
SO(3)
이해를 돕기위해 SO(2)에 대해서 먼저 설명
2차원에서 회전은 각도를 기반으로 이루어진다. 45도 회전시 새로운 위치의 좌표를 얻는다.
3차원에서는 3개의 축을 기준으로 회전한다(회전 각도). 이러한 회전을 표현하는 그룹이 SO(3)
3차원 공간에서의 모든 회전을 다룰 수 있다.
characteristic orientation(특성 방향): 물체의 주요 방향이나 특징적인 모양(자동차의 앞부분)
모델 핵심 내용
point cloud reconstruction 제거함으로 multi-class training이 가능
→ reconstruction을 생략함으로써, 모델은 입력 데이터의 특성에 집중할 수 있으며, 따라서 다양한 클래스의 point cloud를 동시에 학습할 수 있다. 이는 multi-class training을 가능하게 하며, 다양한 형태와 모양의 객체에 대한 학습을 효율적으로 수행
1.point cloud를 구면 신호로 변환
→ point cloud의 중심을 결정 → 각점의 극좌표 계산 → 극좌표를 기반으로 구면신호로 변환
2.이를 SO(3) group-equivariant로 처리
3.SO(3)group-equivariant 표현의 arg-max를 활용해서 예측
위의 3가지 방법을 통해서 모델은 point cloud의 characteristic orientation을 구하는 것을 목표로 두고있다. 이에 대해 조금더 자세히 알아보자
Vector Neuron Networks(VNN)
입력에 회전을 적용해도 출력이 변하지 않는 회전 불변한 특성을 학습
회전에 영향을 받지 않고 일관된 예측
SO(3)-equivariant
입력 데이터에 회전이 적용될 때 출력이 동일한 회전을 겪는 속성을 가지는 레이어
인코더
회전된 포인트 클라우드를 VNNs 사용하여 처리하고 SO(3)-equivariant 특성(각 포인트의 위치, 색상)을 추출
회전 예측기
인코더를 통해서 추출된 특성을 채널을 2로 줄여 방향의 두 기저 벡터를 추정하고, 그램-슈미트로 벡터를 직교화하여 특성 방향 예측
Residual Predictor
한 클래스 내에서 발생하는 모양의 변화에 대응하기 위해 추가된 보정 메커니즘
입력이 모두 SO(3)-invariant값이기 때문에 잔여 방향을 예측할 수 있다.
SO(3)-invariant
예측된 특성 방향과 실제 특성 방향은 모양이나 부분성과 같은 특성의 불변성에 의해 발생한다. 그래서 이 차이를 예측하여 동일한 클래스에 속하는 point cloud를 실제 표준 방향으로 정렬하는 데 사용.
Point Transformer
인코더를 통과한 특성 값을 더 많은 SO(3)-equivariant에 통과시켜 회전에 불변한 특성인 VR획득. 기존값과 VR을 내적시켜 불변한 특성 계산.
Self-Supervised Objective
두 개의 다른 Point Cloud로부터 일관된 특성 방향을 예측하도록 강제
특성방향을 예측 한 값의 내적을 최소화.(동일 클래스 내에서 생성된 2개의 point cloud 사용)
Originality
- Stability and Consistency: 논문은 point cloud 데이터의 특성 방향을 예측하는 데 두 가지 핵심 요소인 stability와 consistency를 모두 고려. 이를 위해 회전 불변성과 내부 클래스 변동성에 대한 모델의 성능을 평가하고 개선하는 것이 독창적인 접근
- SO(3)-Equivariant Network 및 Residual Learning: 논문에서는 SO(3)-Equivariant를 사용하여 입력 데이터의 회전 불변성을 보장하고, Residual Learning을 통해 일관된 특성 방향을 보정. 이러한 네트워크 아키텍처 및 학습 방법의 결합은 효율적인 특성 방향 예측을 가능하게 합니다.
- Self-supervised Learning: 논문은 자기 지도 학습(self-supervised learning) 기법을 사용하여 특성 방향 예측을 개선. 이를 통해 데이터에 대한 사전 정렬된 좌표 프레임을 사용하지 않고도 학습
