DCrownFormer(2024) 논문 리뷰

1. 소감

그동안 다양한 AI 기술을 활용한 크라운 자동 디자인 연구가 진행되어 왔지만, DCrownFormer는 가장 높은 기술적 완성도를 갖춘 연구로 평가될 수 있습니다.

이번 연구에서는 기존 Point Cloud Completion 네트워크 기술을 Baseline으로 삼고,

• 형상의 Curvature를 보강하는 손실 함수
• Mesh Reconstruction 품질을 개선하는 손실 함수
• 형상 인식을 위한 Cross-Attention 모듈

을 추가하여 연구를 진행했습니다.

특히, Mesh Reconstruction Loss를 도입하여 생성된 크라운 포인트가 보다 정확하게 Mesh로 복원될 수 있도록 보정했습니다.
또한, Curvature Loss는 이번 연구에서 처음 제안된 기법으로, 추가적인 검증이 필요해 보입니다.

해당 논문에서는 3D Point Cloud 기반 생성형 네트워크에서 Cross-Attention 모듈을 활용하여 우수한 형상을 구현했으며,
Mesh Reconstruction Loss를 추가함으로써 고품질의 3D Mesh로 복원된 크라운을 생성할 수 있도록 네트워크를 설계했습니다.

앞으로 이러한 기술적 흐름이 AI 기반 크라운 디자인의 주류가 될 것으로 예상됩니다.

📄 Paper: MICCAI 2024 - Paper 638
📑 Supplementary Material: MICCAI 2024 - Supplementary

2. 연구 배경 및 필요성

치과 보철학은 손상된 치아의 기능과 외관을 복원하기 위해 인공 대체물을 사용하는 분야입니다. 현재의 환자 맞춤형 치과 보철물 설계는 노동 집약적이며, 치과 전문의의 구강 해부학 지식과 경험에 의존해야 합니다.
초기 치아 템플릿은 personalize되지 않으며, 치과 보철물의 위치 조정에는 많은 시간이 소요됩니다.
따라서, 자동화된 personalize 치아 크라운 디자인 기술이 필요합니다.

3. DCrownFormer 네트워크 구조

DCrownFormer는 3D 스캔 데이터를 기반으로 치아 크라운 mesh를 자동으로 생성하는 Point-to-mesh generation transformer입니다.
해당 모델은 다음과 같은 주요 구성 요소를 포함합니다.

• Point-to-mesh generation transformer: 포인트 입력에서 치아 크라운 mesh를 직접 생성
• Morphology-aware cross-attention module: 치아의 형태적 관계를 학습
• Curvature-penalty loss: 치아의 groove 및 cusp과 같은 세부 형상을 정교하게 조정
• Mesh reconstruction loss: 생성된 포인트와 노멀을 기반으로 mesh 품질을 향상

• 위 그림은 DCrownFormer의 아키텍처을 나타냅니다. 해당 그림의 표기법(Notation)은 아래와 같습니다.

  $N$: 포인트 개수
  $\mathcal{P_i}$: 입력 포인트 클라우드
  $\mathcal{P_p}$, $\mathcal{N_p}$: 추론된 포인트와 법선
  $\mathcal{P_c}$: Intermediate supervision을 통과한 coarse한 포인트
  $\mathcal{P_g}$: Ground truth 포인트
  $k$: 임베딩 크기, 3차원인 입력 vector로부터 $k(=256)$ 차원으로 늘려 풍부한 표현으로 변환
  $f$: 인코더 통과한 포인트 feature vector
  $g$: 디코더 통과한 포인트 feature vector
  $\mathcal{G}$: 인코더를 통과한 global feature vector, 포인트클라우드의 local-global한 특징을 잡아주는 역활
  $\tilde{\mathcal{G}}$: 확장된 global fecture vector ($1 \times k \rightarrow N \times k$)
  $CPL(\mathcal{P_a}, \mathcal{P_b})$: Curvature panalty loss, 교합면 형상 개선에 기여
  $\mathcal{R_p}, \mathcal{R_g}$: 추론 및 ground truth의 indicator grid
  $MRL(\mathcal{R_a}, \mathcal{R_b})$: Mesh reconstruction loss, 메쉬 표현 개선에 기여
  $DPSR$: Differentiable Poisson sureface reconstruction을 말하며, indicator grid 생성에 이용

• 본 모델은 Transformer 기반의 네트워크 구조를 사용하며, morphology(형태학적 특징)를 인식할 수 있도록 Cross-Attention 모듈을 포함하고 있습니다.

• Cross-Attention은 두 개의 입력 벡터를 필요로 합니다.

  • Query와 Key는 coarse한 point cloud와 디코더 feature에서 가져옵니다.
  • Value는 입력 point cloud와 인코더 feature에서 가져옵니다.

• 마지막 Transformer 레이어에서 feature vector를 추출한 후, dual output branch를 거쳐 추론된 포인트 좌표와 법선 벡터를 산출합니다.
  이후, 출력된 point cloud를 미분 가능한 Poisson 표면 재구성 기법을 사용하여 indicator grid를 생성한 뒤,
  marching cube 알고리즘을 적용해 최종 크라운 mesh를 생성합니다.

• 최종 생성된 크라운 mesh를 활용하여 curvature penalty loss를 계산하고,
  indicator grid를 기반으로 mesh reconstruction loss를 계산하여 네트워크를 학습합니다.

4. DCrownFormer 성능

그림 4(a)는 Transformer의 attention map을 보여줍니다.
입력 vector가 하나인 Self-Attention Module (SAM)보다, Morphology Cross-Attention Module (MCAM)이 크라운이 생성될 위치에 더욱 집중된 attention을 형성하고 있습니다.

그림 4(b)에서는 Chamfer Distance Loss (CDL)만을 사용한 경우와, CDL과 Curvature Penalty Loss (CPL)을 함께 학습한 경우의 Surface Distance Error (SDE)를 비교합니다.
CPL을 추가적으로 사용함으로써 거리 오차가 줄어드는 것을 확인할 수 있습니다.

그림 4(c)는 CPL의 λ 값을 조절하여 절삭 연구를 진행한 결과입니다.
네트워크 학습에서 CPL의 비중을 지나치게 높이면 (λ > 1), 오히려 크라운 생성 성능이 저하됨을 보여줍니다.

개인적인 견해로는 CPL을 compounding loss로 추가하는 것이 크라운 생성 성능에 유의미한 기여를 하지 않는 것처럼 보입니다.
그림 4(b)에서도 CPL을 추가했을 때 groove 및 cusp 형상의 디테일이 크게 개선되 보이지 않았습니다. (curvature map으로 다시 검증할 필요가 있어보입니다.)
그림 4(c)에서도 λ = 0과 λ = 1의 거리 오차 값이 큰 차이를 보이지 않습니다.
무엇보다 CPL은 해당 논문에서 처음 제안하는 방식으로, 성능 개선에 대한 입증이 아직 충분하지 않아 보입니다.

위 그림은 DCrownFormer의 생성물로 3D printing한 결과입니다.
별도의 후처리 없이 네트워크 생성물로 정상적인 3D printing이 가능했습니다.
이는 아마도 네트워크 학습 과정에서 mesh reconstruction loss를 추가하여 mesh representation 품질을 높이는 영향이 커 보입니다.