이 글은 논문 Automatic 3D tooth segmentation using convolutional neural networks in harmonic parameter space(2020) 에 대한 설명입니다. 논문 원본에 대한 링크는 아래에 적어놓았습니다.

논문 원본 : https://www.sciencedirect.com/science/article/pii/S1524070320300151

Abstract

• 이 논문은 CNN을 이용하여 전통적인 mesh segmentation으로 automatic하고 정밀한 segmentation을 하기 힘든 문제를 다룬다

• 치아 표면은 복잡한 기하학적 특징을 가져 치아의 경계를 감지하지 못하는 경우가 생겨 실패로 이어지는 경우가 많기 때문에 기존의 메시 분할 방법으로는 자동적이고 정확한 분할을 달성하기 어렵다.

• Image segmentation mask를 3D 치아 모델에 다시 매핑하고 Fuzzy-Clustering-and-Cuts algorithm를 활용하여 segmentation결과를 세분화한다.

• 결과적으로는 orthodontic CAD system에 포함되었고, 실제로 잘 수행된다.

1. Introduction

• 최근 컴퓨터 기술의 발전과 3D스캐닝 장비의 향상으로 CAD가 점점 더 많은 분야에서 등장하고 있다.

• 현재 tooth segmentation CAD 시스템은 현대 치의학분야에서 치과의 부담을 크게 줄여주는 중요한 역할을 하고 있다.

  • 3D 스캐닝 장비를 이용해 3D 치아 모델 데이터를 수집
  • 치과의사의 치아모델 처리를 도와줌

• tooth segmentation은 orthodontic CAD 시스템의 핵심 부분이다.

  tooth segmentation란 치과용 CT 영상에서 치아영역에 해당되는 부분을 3D로 개별 분리하는 기능이다

  • 현재 많은 tooth segmentation 방법이 제안되었지만, fully automatic segmentation은 여전히 어려운 문제이다.
  • 인간의 치아는 basic geometric characteristics을 가지고 있지만, 특히 환자의 치아에는 심각한 기형, 충치, 치아 손실 등 기타 conditions을 가지고 있기 때문

• 이러한 조건은 기존 분할 방법에 대한 견고성을 결여하기 때문에 일부 고정 매개변수를 설정하여 자동 정확한 분할이라는 목표를 달성하기 어렵다.

• 치아 경계에는 명백한 음의 곡률 특성이 있다.

  • 곡면 기반 방법은 일반적으로 이러한 음의 곡면 특성을 탐지하고 표면을 여러 부분으로 나눕니다. 그러나 치아와 잇몸 표면에도 음의 곡률 특성이 있어 노이즈가 발생하고 심각한 간섭을 일으킬 수 있다. 또한 매끄러운 메시의 경우 음의 곡률 특성이 충분히 명확하지 않아 분할이 잘못될 수 있다.

• robustness를 향상시키기 위해 일부 연구자들은 segmentation process에 human computer interaction mechanism을 추가했다. 사용자가 분할 사전 지식을 제공하거나 잘못된 분할을 수동으로 복구하는 경우 그러나 이는 사용자 상호 작용에 너무 많이 의존하여 사용자 부담을 크게 증가시킬 수 있습니다.

• 본 논문에서는 harmonic parameter space에서 3D tooth model segmentation을 위한 알고리즘을 제시한다.

• 대규모 3D 모델 훈련 세트를 얻기 어렵기 때문에, 우리의 접근 방식은 기하학적 이미지를 생성하기 위해 소량의 3D 훈련 모델 데이터만 필요로 하며, 이는 정규 영역에서 기하학적 특성을 압축적으로 포착하여 제한된 3D 치아 데이터로 CNN을 훈련시킬 수 있으며 이는 교차 검증을 사용하여 우리 방법의 효과를 평가한다.

1. 테스트 단계에서 테스트 이미지가segmentation 모델에 입력되어 image segmentation mask를 얻습니다.
2. image segmentation mask를 2D mesh에 다시 매핑하여 치과용 메시의 각 정점의 레이블을 얻는다.
3. image segmentation의 결과는 경계에서 약간의 편차를 가질 수 있고, 2D mesh와 image는 일대일대응이 아니기 때문에, mesh segmentation의 경계가 충분히 정확하지 않다.

• 이 문제를 해결하기 위해 fuzzy-clustering-and-cuts(FCC) 방법을 적용하고 개선한다.

  FCC 방법은 네트워크 흐름 알고리즘에 기반한 메시 분할 방법입니다.

• 전문의의 도움으로 평균 분할 정확도는 98.87%, 방향 절단 추정치(DCD)는 0.046mm

  • 훨씬 더 큰 훈련 세트가 필요한 최근의 딥 러닝 기반 방법을 포함하여 최첨단 방법과 비교되거나 더 좋다 이는 치과교정 CAD 시스템에도 적용되며 실제로 좋은 성능을 달성한다.

2. Related work

2.1 Genreal mesh segmentation

3D mesh segmentation은 컴퓨터 그래픽의 핵심 부분이다 [15].

• region-based methods
  "mesh의 기하학적 정보에 따라 유사한 영역을 함께 수집한다."

  • K-means [16,17]
  • clustering [18]
  • hierarchical decomposition [13]
  • primitive fitting [19]
  • watersheds [20]
  • random walks [21]

• boundary-based methods.
  "mesh를 다른 부분으로 나누는 mesh의 기하학적 특징 경계를 감지한다"

  • randomized cuts [22]
  • fuzzy-clustering-and-cuts (FCC) [13]
  • core extraction [23]
  • shape diameter function [24]
  • active contours 또는 scissoring [25,26]
  • sparse and low-rank representation [27]

이러한 방법은 mesh의 기하학적 정보에 너무 많이 의존하며, mesh가 너무 복잡해지면 종종 실패한다.

2.2 Dental mesh segmentation

• 3D mesh-based methods
  • curvature-based methods [1,3,4,5,6,41]
  • harmonic-field-based methods [42,42,44]

대부분 Curvature-based methods가 사용 되고 harmonic-field-based methods는 적게 사용된다.

• 2D imagebased methods은 곡률과 표면 정규 정보를 2D 이미지로 인코딩하고, high/low 곡선의 구조를 추출하기 위해 image segmentation 도구를 설계, 2D 모델 기반 윤곽 검색 알고리즘을 기반으로 3D 치아 표면에서 tooth segmentation을 위한 multi-stage approach을 제시하는 등 방법들이 있다. [2,45,46,47,10,11]

하지만 이 방법들은 훈련을 위해 레이블이 지정된 큰 mesh DATA set이 필요하다.

3. Method

• Dental mesh를 input으로 사용하고 Dental mesh 의 각 꼭짓점에 대한 레이블을 가져오는 것을 목표로 한다. Fig 1

• Fig. 1 은 파이프라인을 표현한다. 전체 Method는 3단계로 나눌수있다.

1. mesh parameterization
2. image segmentation
3. segmentation refinement

Fig. 1

• 상단 라인은 harmonic parameterization, projection, data enhancement 그리고 레이블링된 tooth mesh가 다른 작업에 의해 image training set을 얻는 과정을 보여준다.
• 중간 라인은 유사한 작업을 통해 분할되고 CNN 모델에 입력될 mesh에서 tooth image를 얻는 과정을 보여준다.
• 맨 아래 라인은 분할할 mesh에 뒤로 투영된 CNN 네트워크의 image segmentation mask 출력을 보여 준다.

3.1 Mesh parameterization (Mesh 매개변수화)

• Mesh parameterization 목적은 3D mesh에서 parameter space에 대한 점의 일대일 매핑을 찾고, 위상 정보를 원래 mesh와 동형인 상태로 유지하면서 특정 기하학적 메트릭의 왜곡을 최소화하는 것이다.

• Dental mesh는 하나의 경계만 있는 폐쇄되지 않은 genus-zero 3D 표면이다.기하학적으로 평면 원반 위상과 동형이다.

• 평면 공간 𝐷 ⊂ ℝ2의 점 (u, v)에 대한 표면 𝑀 ⊂ ℝ3의 매개변수 공식은 다음과 같다.

  Eq. (1)

• 볼록표현법은 평면 D에 다각형 경계 𝜕D를 고정하고 표면 M의 경계 𝜕M을 𝜕D에 선형으로 매핑하는 일종의 일반적인 표면 매개변수화 방법이고 평면 D의 내부 꼭짓점의 좌표(u, v)는 에너지 최소화에 의해 결정될 수 있다.

• Dental 모델은 스캐너로 얻은 다음 잇몸과 치아를 제외한 모든 것을 제거하기 위해 수동으로 처리된다. 따라서 공간에서 획득된 모델의 전체적인 형태는 아치와 유사하고 모든 모델의 경계는 다음과 같이 유사하다.

  Fig. 2

• 먼저 3D 표면의 경계를 감지하고 경계의 꼭짓점과 가장자리를 얻은 다음 측지 거리가 가장 큰 경계에서 두 꼭짓점(𝑣∗𝑖, 𝑣∗𝑗)을 계산한다.
• 직사각형의 짧은 두 변의 중점에 (𝑣∗𝑖, 𝑣∗𝑗)를 (ℎ∗𝑖, ℎ∗𝑗)로 고정하고 나머지 꼭짓점을 모서리 길이에 비례하여 직사각형 경계에 매핑한다.

• 표면 매개변수화의 목적은 치과 모델의 기하학적 이미지를 얻는 것이므로 이미지 중복을 최소화할 수 있는 평면 D의 경계로 치과모형의 특성과 전체적인 형태를 고려하여 종횡비를 4:1인 직사각형을 사용한다.

• 원래 메쉬 𝜕M의 경계를 직사각형 경계 𝜕D에 매핑하려면 먼저 원래 메쉬 경계에서 가장 큰 측지선거리를 다음과 같이 계산한다.

  Eq. (2)

에너지 최소화 방법을 사용하여 평면 영역 D의 내부 꼭짓점의 좌표를 결정하면, 선형 방정식을 풀면 되며 이는 효율적이며, 핵심은 에너지 중량을 선택하는데 있다.

• 에너지 기능 설정은 다음과 같다.

Eq. (3)

여기서 h𝑖는 원래 mesh M의 꼭짓점 v𝑖에 해당하는 평면 D의 꼭짓점이고, e𝑖,𝑗는 M에서 v𝑖 및 v𝑗가 있는 꼭짓점의 가장자리이고 스프링 상수 𝜅(𝑖,𝑗)는 다음과 같이 계산된다.

• 각 모서리 e𝑖,𝑗에 대해 L𝑖,𝑗은 원래 mesh M에서 측정된 길이를 나타내고, 각 면𝑖,𝑗,𝑘에 대해 Area 𝑖,𝑗,𝑘은 다시 M에서 측정된 면적 (각 내부 모서리 e(i,j)는 두 면, 즉 𝑓(𝑖,𝑗,𝑘1) 및 𝑓(𝑖,𝑗,𝑘2)에 마주한다)

  Eq. (4)

• 𝐸ℎ𝑎𝑟m 에너지 피해를 최소화하기 위해 다음과 같이 계산된다.

  Eq. (5)이 희소 선형 연립방정식을 풀면 평면 D의 각 내부 꼭짓점의 좌표가 나온다.

• 인접한 치아 사이의 기하학은 매우 복잡하고, 이 영역의 꼭짓점은 매우 밀도가 높으며, 각 삼각형의 면적은 작다. 사용된 harmonic parameterization는 일대일 매핑을 보장한다.

• 하지만 기하학적 이미지로 이산화되면서 여러 삼각형이 동일한 픽셀에 매핑될 수 있다.
  이것은 적은 숫자의(1또는2) 픽셀에만 영향을 미치는 경향이있다.

• 추가적으로 final segmentation과 refinement step이 있어 final segmentation 결과에서 이러한 overlapping을 제거하기 위해 original model에서 이 단계가 처리된다.

• 평면 mesh와 이미지의 데이터 형식이 많이달라 각 면을 이미지의 해당 위치의 픽셀에 투영하고 곡률을 픽셀 강도 값으로 인코딩하여 가로 세로 비율이 4:1인 이미지를 생성한다.

• 다음 이산 mesh의 평균 곡률을 계산하고 Eq. (6)에 따라 곡률을 [0,255]에 매핑한다.

Eq. (6)

• 여기서 Cur(i)는 꼭짓점 v(i)의 평균 곡률이다. mesh 데이터는 하위 픽셀 레벨 정확성을 가지므로 이미지 해상도를 높이면 더 자세한 정보가 보존된다. 이론적으로는 이미지 해상도가 충분히 높을 때, 각 면의 정보가 보존된다는 것은 보장되지만, 실제로는 이미지차원이 너무 높으면 안된다. tooth mesh 면의 수는 약 20만개이므로 평면 tooth mesh를 256 × 1024 이미지로 투영하여 효율성과 정확성의 균형을 잘 이룬다.

3.2 Image segmentation (이미지 분활)

• image segmentation의 목적은 픽셀 레벨에서 이미지를 분할하여 각 치아에 대한 segmentation mask를 얻는 것이다. 3D dental mash를 harmonic parameter space에 매핑하면 매핑이 동형이 되도록 보장되므로 planar dental mesh에서 vertices과 face가 중복되는 것을 효과적으로 방지할 수 있다. image의 치아는 서로 독립적이므로 각 치아에 대한 완전한 segmentation mask를 얻을 수 있다.

• 입력된 기하학적 이미지에서 각 치아의 segmentation mask를 얻는 것은 실제로 이미지 엔티티 분할 작업이다. 의미론적 세분화와 달리 엔티티 세분화는 한 클래스 내에서 여러 엔티티를 구분해야 한다. 그러나 이들 기업의 특성은 매우 유사하며, 이들 기업 간의 구분이 거의 없다. 치아에 대한 기하학적 이미지는 원래 메시의 곡률 특징을 픽셀로 인코딩한다.

• 인접한 치아는 매우 유사하지만, 각 치아와 다른 치아 또는 잇몸의 계면은 분명하고 상대적으로 완전한 음의 곡률 특징을 가지고 있다.

[9]는 U-NET이라는 효과적인 medical image segmentation network를 제공한다. 원본 영상을 입력으로 사용하고 분할 맵을 출력합니다. 이 논문은 U-NET의 구조를 참조하고 medical image segmentation network 모델을 설계한다. 사용되는 손실함수는 크로스 엔트로피 손실함수이다.

• 인접 치아의 segmentation mask는 잘못 연결되기 쉬워서 분할이 실패할 수 있기 때문에 다음과 같은 두 가지 개선을 수행했다.

• 첫 번째는 segmentation mask의 경계가 실측치 경계 안에 들어가도록 각 치아의 segmentation mask 범위를 줄이는 것으로, 인접한 치아의 경계를 확대하고 각 치아의 독립성을 높이는 것과 같다.
• 두 번째는 치아 경계에서 훈련 체중을 늘리는 것이므로 우리의 손실 기능은 다음과 같다.

Eq. (7)P𝑖 는 predicted value
𝑝̂𝑖 는 ground true value
I 는 set of pixels for the entire image
B 는 the set of boundary pixels in the image
𝜌 는 boundary weight

통계에 따르면 boundary area의 평균 비율은 약 5%이므로 두 항의 균형을 맞추기 위해 𝜌를 20으로 설정했다.

• 이미지 분할 마스크와 경계 가중치 맵은 Fig. 3과 같다.

  Fig. 3(a) original tooth image
  (b) image segmentation mask
  치아 부분을 0(검정)으로, 나머지부분을 1(흰색)으로 설정
  (c) boundary weight map
  검정색경계는 10으로, 다른부분은 1로 설정

• 성능이 좋은 네트워크 모델을 훈련하려면 많은 양의 훈련 데이터가 필요하지만 대규모 3D 치아 모델 데이터 세트를 얻기 어렵기 때문에 소수의 3D 치아 모델을 사용하여 기하학적 이미지를 생성한 다음 강력한 훈련을 위해 데이터 확대를 통해 기하학적 이미지를 강화한다.

• Rotation: 회전 각도 𝛼 ∈ [−10◦, 10◦] ∪ [170◦, 190◦]의 범위를 설정하고 균일 분포에 따라 범위에서 무작위로 회전 각도 𝛼0을 얻고 이미지의 중심을 따라 이미지를 회전한다.
• Flip: 각 이미지를 세로 또는 가로로 무작위로 뒤집는다.
• Translation: 번역 벡터 v(dx, dy)의 범위를 𝑑𝑥 ∈ [−20, 20], 𝑑𝑦 ∈ [−100, 100]으로 설정한 다음 균일 분포에 따라 범위에서 번역 벡터를 무작위로 구하고 각 이미지를 번역한다.
• Sinusoidal disturbance: 가로 및 세로 방향으로 각각 이미지에 사인파 교란을 추가하고 이미지 좌표는 다음과 같이 변환된다.

Eq. (8)
x 및 y는 원래 픽셀 좌표를 나타내고 xt 및 yt는 교란 후의 픽셀 좌표를 나타내며 a ∈ [10, 15]는 교란 진폭을 나타내고 T ∈ [0.005, 0.01]은 위상을 나타냅니다.

• Eq. (8)은 이미지에대한 horizontal perturbation operation을 나타내고 x와 y를 바꾸면 이미지에 longitudinal perturbation operation이 발생한다.

image augmentation시 모든 매개변수 설정은 이미지의 특성을 고려한다. 이미지가 중대한 왜곡 없이 타당하다는 조건에서 샘플 데이터의 다양성을 최대한 증가시킨다. 매개변수의 상한 및 하한은 획득한 이미지가 타당하고 시각적으로 왜곡되지 않도록 설정된다. 이러한 Data set을 augmentation 작업을 통해 약 40배 확장한다.

Fig. 4는 Data augmentation 전과후를 비교한 것이다.

Fig. 4(a) original image
(b) image after the rotation of 180∘
(c) image after the horizontal inversion
(d) image after the translation of 𝑣(0,−50),
(e) image after the horizontal disturbance
(f) image after the vertical disturbance

• 서로 다른 Dental mesh 재구성은 상당히 다른 정확도를 가진 치아 모델을 만들 수 있으며, 이로 인해 mesh의 예상 곡률 값이 달라지고 해당 이미지의 대비가 크게 달라질 수 있다.

• 대비 차이로 인한 분할 오류를 제거하기 위해 각 이미지에 대해 global contrast normalization[49]를 적용한다.

3.3. Segmentation refinement (분활 개선)

• 본 연구에서 이미지가 분할된 후 segmentation mask를 얻는다.

• segmentation mask는 𝑀𝑖, 𝑖 = 1, 2, …, 𝑛 n개의 치아의 표면을 얻기 위해 original mesh에 backproject된후 preliminary segmentation(예비 분활)이 완료된다.

• 각 치아의 ground truth surface가 𝑀̂ 𝑖라고 가정하면, segmentation Refinement의 목적은 preliminary segmentation(예비 분활) 결과에서 ground truth segmentation Boundary 𝜕𝑀̂ 𝑖를 찾는 것이다.

• fig. 5에 나타낸 것과 같이, preliminary segmentation(예비 분활) 결과에서,각 치아 표면 경계 𝜕Mi는 일반적으로 ground truth 치아 경계 𝜕𝑀̂ 𝑖 안쪽에 있으므로, 표면 Mi를 바깥쪽으로 확장하여 ground truth 치아 경계를 포함할 것으로 예상되는 표면 𝑀′𝑖을 형성한다.

하나의 치아에 대한 무방향 그래프 G의 구성
(a) 녹색 영역은 예비 분할 결과에서 치아의 표면 𝑀i
(b) 녹색 영역은 팽창 후 치아의 표면 𝑀𝑖
(c) 녹색 영역은 퍼지 영역의 표면 𝑀f𝑖
(d) 는 𝑀𝑖와 𝑀의 경계이기도 한 퍼지 영역 𝑀f𝑖의 두 경계
빨간색 경계는 𝜕𝑀𝑖이고 파란색 경계는𝜕𝑀′𝑖

• fuzzy region은 Eq. (9)과 같다.

Eq. (9)

[13]은 주어진 fuzzy region에서 오목이면각이 가장 작은 분할 경계를 찾아 fuzzy region을 두 부분으로 나눌 수 있는 Max-Flow(최대 흐름) 알고리즘 [50]에 기반한 메시 분할 방법 FCC를 제시

이 방법은 먼저 무방향 그래프 𝐺 =< 𝑉 , 𝐸 >를 구성(V는 Mf𝑖의 꼭짓점의 set, E는 Mf𝑖의 모서리의 set) 두 개의 가상 노드 s와 t가 set V에 추가되어 각각 소스 포인트와 싱크 포인트를 나타낸다.

The edges are added to E to connect s to each vertex on the boundary 𝜕𝑀𝑖, and t to each vertex on the boundary 𝜕𝑀′𝑖 .

경계 𝜕Mi의 각 꼭짓점에 s를 연결하고 경계 𝜕𝑀′𝑖의 각 꼭짓점에 t를 연결하기 위해 가장자리가 E에 추가됩니다.

Max-Flow(최대 흐름) 알고리즘을 사용하여 mesh segmentation을할 때 가장 중요한 것은 각 모서리의 용량 Cap(𝑖,𝑗)을 설정하는 방법입니다.

일반적으로 서로 접촉하는 두 물체는 접합면에서 오목 2면체와 음의 곡률 특징을 갖습니다.

이러한 특징을 감지하여 가장 합리적인 분할 경계를 찾을 수 있습니다.

[13]은 오목이면체 기능을 사용하여 Eq. (10)에 따라 각 모서리의 용량을 설정

Eq. (10)

여기서 𝛼 𝑖,𝑗는 모서리 e 𝑖,𝑗와 𝐴𝑛𝑔_𝑑𝑖𝑠𝑡(𝛼 𝑖,𝑗)의 이면각을 나타낸다.

Eq. (11)

• 𝜂는 0과 1 사이의 계수이다. 작은 양수 값(보통 0.1)은 볼록한 각도에 사용되며 𝜂 = 1은 오목한 모서리가 segmentation에 더 중요하기 때문에 오목한 각도에 사용된다.

• 실험결과 결과가 이상적이지 않았다. segmentation boundary는 거칠고, 심지어 ground truth 치아 경계 𝜕𝑀̂ 𝑖에서 크게 벗어난다.

• 삼각형 mesh가 3D 개체 표면을 approximate하기 위해 많은 삼각형 패치를 사용한다.

• 음의 곡률 특성이 큰 영역의 꼭짓점과 edge가 다른 평평한 영역보다 훨씬 밀도가 높은 경향이 있기 때문이다.

• 비록 이 영역의 각 edge의 가중치는 작지만, 많은 edge의 축적으로 인해 경로 가중치가 클 수 있으므로 ground truth tooth boundary 𝜕𝑀̂ 𝑖에서 가장 작은 가중치를 가진 경로가 이탈할 수 있다.

• 따라서 우리는 edge의 길이도 고려되는 Eq. (12)에 따라 각 edge의 용량을 설정하는 개선사항을 제시한다
  

Eq. (12)l(𝑖,𝑗)는 모서리 e(𝑖,𝑗)의 길이

Cur(𝑖,𝑗)는 Eq. (13)과 같이 정의된다.

Eq. (13)

• 여기서 𝐶𝑢𝑟′(𝑖)는 Eq. (6)식과 같다. Ne는 Mf𝑖의 edge의 개수이다.

• Eq. (12)에서 Capour(𝑖,𝑗)의 용량은 곡률 항 Cur(𝑖,𝑗)와 edge lenght term ‖l𝑖,𝑗‖2의 두 항의 곱임을 알 수 있다.

• 곡률 항은 음의 곡률 특징을 감지하는 데 사용되며 edge lenght term은 shortest path를 정점 및 edge의 dense regions으로 제한하여 많은 수의 dense regions edge로 인한 부정적인 영향을 제거한다.

• 위의 개선 사항을 통해 보다 정밀하고 부드러운 segmentation boundary를 얻었다.

4. Experimental results and analysis

• 본 연구의 method효과를 검증하기 위해 100개의 치아 모델을 포함하는 데이터 세트와 전문 치과의사의 도움으로 완전한 수동 라벨링을 생성했다.

• 이러한 모델은 본 연구의 보편성을 테스트하도록 설계된 다양한 상용 3D 스캐너에서 가져왔다.

모든 실험은 두 대의 다른 컴퓨터에서 수행되었다.

• 하나는 CNN 모델을 훈련 및 테스트하기 위한 것
• 하나는 CNN 모델과 관련이 없는 다른 실험을 위한 것

• 하드웨어의 세부사항은 Table 1
  

• 실험은 두 부분으로 나뉜다.

1. image segmentation network의 성능을 평가하기 위한 image segmentation experiment
2. final segmentation 결과의 정확성을 검증하기 위한 mesh segmentation refinement experiment

4.1. Image segmentation

• 이 논문의 image segmentation network는 U-NET 네트워크 구조를 기반으로 하며 256 × 1024 단일 채널 이미지를 입력하고 256 × 1024 segmentation mask를 출력한다.

• 현재 공개적으로 사용할 수 있는 large-scale dental mesh data sets가 없으며 기하학 이미지가 있는 dental model이 120개뿐이다. 120개의 dental model의 데이터는 두 대의 서로 다른 스캐너를 사용하여 얻었으며 두 스캐너에서 얻은 dental model의 삼각형 개수는 각각 30,000~90,000개, 200,000~500,000개이다.

• 이 두 종류의 model 수의 비율은 약 4:6이다. stratified random sampling을 사용하여 20개 모델을 test set로 선택하고 나머지 100개 모델을 training set 및 validation set(4:1 분할)로 선택.

• 이러한 작은 데이터 세트로 네트워크를 훈련하면 over-fitting이 발생하고 network performance를 확인하기 어려울 수 있다.

• 이를 해결하기 위해 5-fold cross validation experiment을 설계한다. 또한 stratified random sampling을 사용하여 duplicated samples 없이 나머지 data set를 5회 샘플링한다.

• 이러한 방식으로 data set는 5개의 그룹으로 균등하게 나뉘며 각 그룹에는 20개의 모델이 포함된다.

• 5-fold cross validation을 사용하여 한 그룹이 validation set로 선택되고 나머지 4개 그룹이 training set로 선택된다.

• 각 dental model은 기하학적 이미지에 해당한다. 네트워크 모델을 훈련하기 전에 [3.2]에 설명된대로 training한다.

• 각 그룹은 data augmentation(확대)을 통해 원본이미지 20개를 800개로 늘린다.

• 이 논문에서는 다양한 Epochs 횟수로 CNN 모델을 학습한다.

Fig. 6은 training 과 validation sets에서 training epochs가 다른 모델의 예측 정확도를 보여준다.

• training epoch의 수가 증가할수록 training set의 예측 정확도는 계속 증가하지만 validation set의 예측 정확도는 100 epoch 부근에서 피크를 보여 100 epoch 모델 훈련 후에 over-fitting(과적합)이 발생한다.

• 이 논문은100개의 training epoch를 선택하고 entire training set와 validation set를 training set로 사용하고 모델을 다시 훈련시킨 다음 테스트용 test set를 사용한다. test set의 평균 예측 정확도는 98.69%이다.

• [11]은 dental mesh를 CNN 입력에 적합한 matrix format data로 변환한다.

• feature extraction을 통해 mesh의 각 면에서 600차원 특징을 추출하고 20×30 이미지를 생성한다.

• dental mesh의 경우 면의 수는 일반적으로 수만 개에서 수십만 개에 이르기 때문에 이러한 방법을 사용하면 feature dimensions가 과도해지고 계산이 복잡해진다.

• 대조적으로, 우리의 방법은 각 모델을 고정 크기 256 × 1024의 이미지에 매핑하여 특징 차원을 크게 줄인다.

• 이 연구의 segmentation 결과는 또한 이 방법의 효과를 보여줍니다.

• 네트워크 모델의 입력, 출력 및 평가 방법이 모두 다르기 때문에 두 네트워크 모델의 예측 정확도를 비교하는 것은 의미가 없다.

• 최종 mesh segmentation 결과의 정확도를 비교하는 것이 더 의미가 있다.

• Fig. 7은 원본 이미지의 일부, predicted masks 와 ground truth 보여준다.

  (a) Original images (b) Prediction masks (c) Ground truth.

• 빨간색 상자는 prediction mask의 부정확한 부분을 강조 표시하여 subsequent segmentation에 영향을 준다.

• 각 검정 영역의 영역을 감지하고 threshold(임계값)보다 작은 영역을 노이즈로 처리한다.

• 노이즈의 평균 면적과 치아의 평균 면적을 계산한 결과, 일반적으로 후자가 전자보다 15배 이상 더 큰 것으로 나타났다.

• 각 dental mesh에는 최대 16개의 치아만 있다.

• 각각의 검은색 영역의 면적을 계산하고 가장 큰 16개 영역의 평균값을 계산하고 threshold(임계값)을 평균값의 1/10로 설정했다.

• 노이즈제거 과정은 이 논문의 실험에서 잘 작동한다.

4.2. Segmentation refinement

• cross-validation 동안 각 테스트 예에 대해 geometric image domain에서 tooth model의 segmentation을 얻었다.

• image segmentation mask를 다시 dental mesh에 투영하여 preliminary segmentation(예비 분활)결과를 얻을 수 있다.

• preliminary result는 pipeline의 마지막 단계인 segmentation refinement를 통해 더욱 향상될 수 있다.

• FCC 알고리즘을 개선하고 개선 전과 후의 segmentation 결과를 실험을 통해 비교한다.

• Fig. 8 은 일부 모델의 segmentation results를 보여준다. 빨간색 상자는 복잡한 영역을 나타내며 이 방법은 잘 작동한다.

Fig. 8.(a) Ground truth.
(b) Preliminary segmentation.
(c) Final result
(d)&(e) Other views of the final result.

• 다음 두 가지 측정값을 사용하여 결과를 수량화합니다.

1. [10] 올바르게 레이블이 지정된 면의 면적 백분율을 계산하는 것으로 Eq. (14)와 같다

Eq. (14)Area 𝑖,𝑗,𝑘은 Eq.(4)와 같으며, l 𝑖,𝑗,𝑘은 면 f 𝑖,𝑗,𝑘의 예측 레이블이다.
g(l 𝑖,𝑗,𝑘)은 예측이 참이면1이고 아니면 0이다.

이 논문의 출력은 mesh의 꼭짓점 레이블이기 때문에 꼭짓점 레이블을 면 레이블로 변환한다.

메시에 있는 면 f𝑖,𝑗,𝑘의 세 꼭짓점(v𝑖, v𝑗, v𝑘)에는 레이블(l𝑖, l𝑗, l𝑘)이 있다.

이 세 개의 꼭짓점 레이블에서 둘 이상의 레이블이 동일하다면 f𝑖,𝑗,𝑘의 레이블 l𝑖,𝑗,𝑘에는 대부분의 숫자가 있는 꼭짓점 레이블이 할당된다.

• 20개의 dental mesh의 평균 segmentation accuracy는 98.87%에 도달했다.

• 다른 측정은 DCD(Directional Cut Discrepancy)[36]를 사용하여 mean error of the segmentation boundary를 계산하는 것입니다.

• 대부분의 모델의 DCD는 0.1mm 미만이고 모든 모델의 평균 DCD는 0.0458mm입니다.

• 기존 FCC와 비교하여 개선된 segmentation refinement으로 모든 모델의 mean segmentation accuracy가 88.2%에서 98.87%로, 평균 DCD가 0.6127mm에서 0.0458mm로 향상되었다.

• Figs. 9 & 10은 개선된 개선을 원본 FCC와 비교할 때 segmentation accuracy 비교 결과와 DCD 비교 결과를 보여주고 Fig. 11은 local details를 시각적으로 비교한 결과를 보여준다.

Fig 9.

• 세분화 정확도를 사용한 세분화 세분화 방법과 FCC의 비교
  파란색막대=개선된 방법, 주황색막대=FCC 방법
  가로축=서로 다른 tooth model의 면 수,세로축 = 분할정확도

Fig. 10.

• 세분화 정확도를 사용한 세분화 세분화 방법과 FCC의 비교
  파란색막대=개선된 방법, 주황색막대=FCC 방법
  가로축=서로 다른 tooth model의 면 수,세로축 = 분할정확도

Fig. 11.(a)&(b) FCC 방법의 분할 결과에 대한 서로 다른 견해.
(c)&(d) 개선된 세분화 결과에 대한 다양한 견해.
Table 2 shows how our approach compares with the latest relevant work.

Table 2는 우리의 접근 방식이 최신관련연구와 어떻게 비교되는지 보여준다.

Table 2
tooth segmentation accuracy 및 DCD에 대한 대안 방법과 이 논문 방법의 비교.
이 논문의 방법은 최신 기술과 비슷한 segmentation accuracy를 달성하고 DCD를 크게 낮추어 보다 정확한 segmentation boundaries를 보여준다.
이 논문의 방법은 기존의 딥 러닝 방법에 비해 적은 training set가 필요하다.

이 논문의 method는 SOTA 방법과 비교할만한 정확도와 훨씬 더 나은 DCD를 달성한다는 것을 알 수 있다. 또한 기존의 딥러닝방법 [11] 에 비해 훨씬 적은 학습 데이터를 필요로 한다. [11] 의 성능은 일반적으로 사용할 수 없는 훨씬 더 큰 훈련 set을 사용하여 달성하었으며 성능은 논문에 보고되었으며 이러한 모델들은 서로다른 상업적인 3D 스캐너에서 가져온 것이며 꼭짓점과 면의 수는 매우 다양하다.

• 결과는 Fig. 9와 10은 segmentation 정확도와 baoundary 오차가 모델의 면번호와 관련이 있음을 보여준다.

• 빨간색박스로 표시되어있는 부분의 결과를 보면 정확도가 낮고 오류가 더 크다.

• segmentation정확도가 높고 boundary 오차가 작은 모델일수록 면이 더 많은 경향이 있음을 알 수 있다.

• 일반적으로 모델의 꼭짓점과 면이 많을수록 모델 재구성 품질이 높아진다.

• 두 객체의 boundary(경계선)에서 꼭짓점과 면의 밀도는 평평한 영역보다 높으며 음의 곡률 특성이 더 분명하다.

• 일부 3D 스캐닝 장비의 낮은 정확도로 인해 음의곡률 특성이 충분히 분명하지 않아 segmentation결과가 약간 약화된다.

5. Conclusions

• 이 논문은 조화 매개변수 공간에서 tooth model segmentation을 위한 알고리즘을 제시한다. 이 방법은 3D tooth model을 input으로 받아 mesh의 각 label의 꼭짓점을 출력한다. 먼저 3D tooth model을 2D harmonic parameter 공간에 isomorphically(동일구조로) 매핑한 다음 2D plane mesh를 256 × 1024 이미지에 투영합니다. U-Net구조에 따라 강력한 tooth image segmentation model을 학습하기 위해 convolutional neural network을 설계했다. 이 모델은 tooth image를 input으로 받아 해당 segmentation mask를 얻을 수 있다. 마지막으로 image segmentation mask를 다시 3D tooth model에 매핑하고 FCC 알고리즘을 개선하여 segmentation을 개선하고 정확하고 부드러운 segmentation boundary를 얻는다.

평균 segmentation 정확도는 98.87%로, 효율성을 입증할 수 있는 SOTA를 달성했다. 이 방법은 상용 orthodontic(교정) CAD 시스템에 적용되었으며 실제로 좋은 성능을 보여준다. 하지만 몇 가지 제한 사항이 있다.

1. mesh 매개변수화의 입력 조건을 충족하기 위해 tooth model이 하나의 경계만 있는 닫히지 않은 0이 아닌 3D 표면이어야 한다. 따라서 tooth segmentation 전에 지루한 전처리 작업이 필요하고. 신경망에서 예측한 segmentation mask의 오차가 너무 커서는 안 된다. 그렇지 않으면 segmentation refinement 단계 후에도 정확한 boundary(경계)를 찾기 어렵다.
2. 예측 segmentation mask의 noise 영역(Fig. 7의 빨간색 상자)의 크기가 너무 크면 denoising process가 실패한다. 인접한 치아의 prediction mask가 서로 연결되어 있으면 이러한 치아가 하나의 치아로 표시된다. 따라서 미래 연구는 마스크 경계의 예측을 처리하고 노이즈 영역을 제거하기 위해 refined subnet을 설계하는 것이다.
3. final segmentation accuracy는 여전히 max-flow algorithm에 크게 의존한다. 일부 모델의 품질이 낮기 때문에 이러한 모델의 final segmentation boundaries(경계)는 여전히 거칠고 오류가 더 크기 때문에 보다 정확하고 부드러운 경계를 찾기 위해 segmentation refinement 단계에 boundary smoothing 조건을 추가할것이다.
4. 120개의 치아 모델만 있는 제한된 데이터 set만 있다.

• 이 논문은 방법의 신뢰성을 입증하기 위해 cross-validation 및 비교 실험을 설계했지만, 우리 방법을 보다 안정적으로 만들기 위해서는 data set을 확장해야 한다.

Reference

[1] K. Wu, L. Chen, J. Li, Y. Zhou, Tooth segmentation on dental meshes using morphologic skeleton, Comput. Graph. 38 (2014) 199–211.
[2] S.M. Yamany, A.M. El-Bialy, Efficient free-form surface representation with application in orthodontics, in: Three-Dimensional Image Capture and Applications II,
3640, International Society for Optics and Photonics, 1999, pp. 115–125.
[3] T. Yuan, W. Liao, N. Dai, X. Cheng, Q. Yu, Single-tooth modeling for 3D dental
model, Int. J. Biomed. Imaging 2010 (1) (2010) 9.
[4] Y. Kumar, R. Janardan, B. Larson, J. Moon, Improved segmentation of teeth in dental
models, Comput. Aided Des. Appl. 8 (2) (2011) 211–224.
[5] T. Kronfeld, D. Brunner, G. Brunnett, Snake-based segmentation of teeth from virtual
dental casts, Comput. Aided Des. Appl. 7 (2) (2010) 221–233.
[6] Z. Li, X. Ning, Z. Wang, A fast segmentation method for STL teeth model, in:
IEEE/ICME International Conference on Complex Medical Engineering, 2007.
[7] C. Sinthanayothin, W. Tharanont, Orthodontics treatment simulation by teeth
segmentation and setup, in: International Conference on Electrical Engineering/electronics, 2008.
[8] Y. Ma, Z. Li, Computer aided orthodontics treatment by virtual segmentation and
adjustment, in: International Conference on Image Analysis & Signal Processing,
2010.
[9] O. Ronneberger, P. Fischer, T. Brox, U-Net: Convolutional networks for biomedical
image segmentation, in: International Conference on Medical Image Computing &
Computer-assisted Intervention, 2015.
[10] G. Kan, D. Zou, X. Chen, 3D mesh labeling via deep convolutional neural networks,
ACM Trans. Graph. 35 (1) (2015) 1–12.
[11] X. Xu, C. Liu, Y. Zheng, 3D tooth segmentation and labeling using deep convolutional
neural networks, IEEE Trans. Vis. Comput. Graph. 25 (7) (2018) 2336–2348.
[12] M. Eck, T. DeRose, T. Duchamp, H. Hoppe, M. Lounsbery, W. Stuetzle, Multiresolution analysis of arbitrary meshes, in: ACM SIGGRAPH, 1995, pp. 173–182.
[13] S. Katz, A. Tal, Hierarchical mesh decomposition using fuzzy clustering and cuts,
ACM Trans. Graph. 22 (3) (2003) 954–961.
[14] R. Ahlswede, N. Cai, S.Y.R. Li, R.W. Yeung, Network information flow, IEEE Trans.
Inf. Theory 46 (4) (2000) 1204–1216.
[15] A. Shamir, A survey on mesh segmentation techniques, Comput. Graph. Forum 27
(6) (2010) 1539–1556.
[16] S. Shlafman, A. Tal, Metamorphosis of polyhedral surfaces using decomposition,
Comput. Graph. Forum 21 (3) (2010) 219–228.
[17] T.G. Debelee, F. Schwenker, S. Rahimeto, D. Yohannes, Evaluation of modified adaptive k-means segmentation algorithm, Comput. Vis. Media (2019) 1–15.
[18] G. Lavou, F. Dupont, A. Baskurt, A new CAD mesh segmentation method, based on
curvature tensor analysis, Comput.-Aided Des. 37 (10) (2005) 975–987.
[19] M. Attene, B. Falcidieno, M. Spagnuolo, Hierarchical mesh segmentation based on
fitting primitives, Vis. Comput. 22 (3) (2006) 181–193.
[20] A.P. Mangan, R.T. Whitaker, Partitioning 3D surface meshes using watershed segmentation, IEEE Trans. Vis. Comput. Graph. 5 (4) (1999) 308–321.
[21] Y.-K. Lai, S.-M. Hu, R.R. Martin, P.L. Rosin, Fast mesh segmentation using random
walks, ACM Sympos. Solid Phys. Model. (2008) 183–191.
[22] A. Golovinskiy, T.A. Funkhouser, Randomized cuts for 3D mesh analysis, ACM Trans.
Graph. 27 (5) (2008) 1–12.
[23] S. Katz, G. Leifman, A. Tal, Mesh segmentation using feature point and core extraction, Vis. Comput. 21 (8–10) (2005) 649–658.
[24] L. Shapira, A. Shamir, D. Cohen-Or, Consistent mesh partitioning and skeletonisation
using the shape diameter function, Vis. Comput. 24 (4) (2008) 249.
[25] Y. Lee, S. Lee, A. Shamir, D. Cohen-Or, H.P. Seidel, Intelligent mesh scissoring using
3D snakes, in: Conference on Computer Graphics & Applications, 2004.
[26] Y. Lee, S. Lee, A. Shamir, D. Cohen-Or, H.P. Seidel, Mesh scissoring with minima
rule and part salience, Comput. Aided Geom. Des. 22 (5) (2005) 444–465.
[27] L. Yin, K. Guo, B. Zhou, Q. Zhao, 3D shape co-segmentation via sparse and low rank
representations, Sci. China Inf. Sci. 61 (5) (2018) 54101.
[28] Z. Ji, L. Liu, Z. Chen, G. Wang, Easy mesh cutting, in: Computer Graphics Forum,
2006, pp. 283–291.
[29] L. Fan, L. Liu, K. Liu, Paint mesh cutting, Computer Graphics Forum, 2011.
[30] Z. Youyi, T. Chiew-Lan, A. Oscar Kin-Chung, Dot scissor: a single-click interface for
mesh segmentation, IEEE Trans. Visualization Comput.Graph. 18 (8) (2012) 1304.
[31] M. Min, L. Fan, L. Liu, ICutter: A direct cut-out tool for 3D shapes, Comput. Animation Virtual Worlds 22 (4) (2011) 335–342.
[32] Y. Zheng, C.L. Tai, Mesh decomposition with cross-boundary brushes, Comput.
Graph. Forum 29 (2) (2010) 527–535.
[33] O.K. Au, Y. Zheng, M. Chen, P. Xu, C.L. Tai, Mesh segmentation with concavity-aware fields, IEEE Trans. Visualization Comput.Graph. 18 (7) (2012) 1125.
[34] D. Khan, D.-M. Yan, F. Ding, Y. Zhuang, X. Zhang, Surface remeshing with robust
user-guided segmentation, Comput. Vis. Media 4 (2) (2018) 113–122.
[35] Y. Zhuang, M. Zou, N. Carr, T. Ju, Anisotropic geodesics for live-wire mesh segmentation, Comput. Graph. Forum 33 (7) (2014) 111–120.
[36] X. Chen, A. Golovinskiy, T.A. Funkhouser, A benchmark for 3D mesh segmentation,
ACM Trans. Graph. 28 (3) (2009) 1–12.
[37] E. Kalogerakis, A. Hertzmann, K. Singh, Learning 3D mesh segmentation and labeling, ACM SIGGRAPH, 2010.
[38] Y. Wang, S. Asafi, O.V. Kaick, Z. Hao, B. Chen, Active co-analysis of a set of shapes,
ACM Trans. Graph. 31 (6) (2012) 157:1–157:10.
[39] H. Benhabiles, G. Lavou, J.P. Vandeborre, M. Daoudi, Learning boundary edges for
3D-mesh segmentation, Comput. Graph. Forum 30 (8) (2011) 2170–2182.
[40] Y. Lu, M. Zhen, T. Fang, Multi-view based neural network for semantic segmentation
on 3D scenes, Sci. China Inf. Sci. 62 (12) (2019) 229101.
[41] M. Zhao, L. Ma, W. Tan, D. Nie, Interactive tooth segmentation of dental models, in:
Conference: International Conference of the IEEE Engineering in Medicine & Biology
Society IEEE Engineering in Medicine & Biology Society Conference, 2005.
[42] B.J. Zou, S.J. Liu, S.H. Liao, X. Ding, Y. Liang, Interactive tooth partition of dental mesh base on tooth-target harmonic field, Comput. Biol. Med. 56 (C) (2015)
132–144.
[43] S.H. Liao, S.J. Liu, B.J. Zou, X. Ding, Y. Liang, J.H. Huang, Automatic tooth segmentation of dental mesh based on harmonic fields, Biomed. Res. Int. 2015 (3) (2015)
187173.
[44] Z. Li, H. Wang, Interactive tooth separation from dental model using segmentation
field, PLoS ONE 11 (8) (2016) e0161159.
[45] K. Toshiaki, S.H. Ong, K.W.C. Foong, Tooth segmentation of dental study models
using range images, IEEE Trans. Med. Imaging 23 (3) (2004) 350–362.
[46] M. Grzegorzek, M. Trierscheid, D. Papoutsis, D. Paulus, A multi-stage approach for
3D teeth segmentation from dentition surfaces, in: International Conference on Image & Signal Processing, 2010.
[47] N. Wongwaen, C. Sinthanayothin, Computerized algorithm for 3D teeth segmentation, in: International Conference on Electronics & Information Engineering, 2010.
[48] W.T. Tutte, Convex representations of graphs, Proc. Lond. Math. Soc. 3 (1) (1960)
304–320.
[49] M. Foracchia, E. Grisan, A. Ruggeri, Luminosity and contrast normalization in retinal
images, Med. Image Anal. 9 (3) (2005) 179–190.
[50] A.V. Goldberg, R.E. Tarjan, A new approach to the maximum-flow problem, J. ACM
(JACM) 35 (4) (1988) 921–940.