(2017)Image Registration Techniques: A Survey

0. Abstract

Image registration은 특정 image를 참고하여 여러 장의 image를 동일한 scene에 재 배치하는 것이다. 본 논문은 image registration에 대한 다양한 접근법과 그에 따른 장단점에 대해 설명한다.

1. Introduction

Image registration의 목적은 일반적으로 input image와 reference image 사이의 coordinate transformation matrix를 구해 숨겨진 관계를 찾는 것이다. 따라서 image registration은 사실상 optimization 문제이다.

Image registration은 다음과 같이 분류될 수 있다.

1) Multi-view Analysis

동일한 scene 또는 object의 image를 다양한 viewpoint에서 얻은 후 더 낳은 representation을 얻는 방법.

2) Multi-temporal Analysis

동일한 scene 또는 object의 image를 서로 다른 조건에서 다양한 시간에 얻어 연속된 image 사이의 변화를 탐지하는 방법.

3) Multi-modal Analysis

동일한 scene 또는 object의 image를 서로 다른 sensor를 사용해서 얻은 후 다양한 정보를 종합하여 세부 사항을 얻는 방법이다. Medical image의 registration이 여기에 해당이 된다.

2. Steps Involved in Image Registration

Image registration은 다음의 step을 따른다.

1) Feature detection

Feature detection은 자동 방법이 선호 되지만 복잡도에 따라 자동, 수동으로 선택될 수 있다. Feature detection은 image의 deformation이나 degradation에 영향을 받지 않고 모든 projection에서 동일한 feature를 detection할 수 있을 만큼 robust해야 한다.

2) Feature matching

Feature detection과정에서 찾은 non-aligned image와 reference image의 feature간의 correspondence를 찾는 과정이다.

3) Transform mode assessment

Non-aligned image를 reference image에 align하기 위해 mapping function의 parameter를 구한다. Parameter는 Feature matching 단계에서 구한 feature correspondence를 통해 계산된다. Priori information이 없는 경우에 image deformation을 해결하기 위해 model의 flexibility가 보장되어야 한다.

4) Image transformation

Non-aligned image는 mapping function을 통해 변환된다.

3. Classification Criteria of Image Registration Techniques

Image registration은 다음 사항들로 분류가 된다.

1) Dimensionality

2D-2D, 2D-3D, 3D-3D와 같이 dimension에 따라 요구되는 것이 다르다.

2) Domain of transformation

Image 전체 영역을 registration할 경우에는 global이 될 수 있고 부분을 registration할 경우에는 local이다.

3) Type of transformation

Rigid(translation, rotation, reflection), Affine(translation, rotation, scaling, reflection, shearing), Projective, Non-linear로 나뉜다.

4) Registration Quality

Data와 feature를 추출한 measure에 따라 quality가 다르다.

5) Parameters of Registration

Image registration을 함에 있어 optimum parameter를 찾는 방법들이다. 예를 들면 heuristic search method가 있다.

6) Subject of Registration

같은 subject라면 intra-subject registration이며 다르다면 inter-subject registration이다.

7) Object of Registration

Head, abdomen, thorax, knee와 같이 object 따라 나뉜다.

8) Nature of Registration basis

Extrinsic인 경우 눈에 잘 띄는 피부에 새겨진 marker과 같은 foreign object가 있고 intrinsic인 경우에는 image information가 있다.

Non-image based는 image간의 coordinate가 있다.

9) Interaction

Semi-automatic, entirely automatic으로 분류된다.

10) Modalities involved

CT, MRI, SPECT, Ultra Sound와 같은 mono-modal이 있고 두 개 이상의 양식을 사용하는 Xray 또는 DSA와 같은 multi-modal이 있다.

4. Methods of Image Registration

1) Extrinsic Methods

Artificial foreign object는 환자의 몸에서 쉽게 찾을 수 있다. 이를 활용하면 feature matching을 함에 있어서 복잡도를 줄이고 계산 속도를 높일 수 있다.

2) Surface Methods

Surface-based 접근은 multi modality를 가진 brain image에 적용이 되며 surface matching 알고리즘은 일반적으로 rigid body registration이다.

Iterative Closet Point, Correspondence Matching, Meta-heuristics and Evolutionary Optimization과 같은 알고리즘들이 대표적인 surface registration 방법들이다.

3) Moments and Principle Axes Methods

Moment of inertia가 최소가 되는 orthogonal axes를 principle axes라고 한다. Rigid, affine transformation을 사용하지 않고 principle axes를 맞춤으로 두 개의 object를 정확하게 registration 할 수 있다.

Object가 동일하지는 않지만 형태가 비슷하다면 이 방법이 사용될 수 있다.

4) Correlation Based Methods

이 방법은 mono-modal image를 registration하고 유사한 object의 image들을 비교하는데 사용된다. 특히 의학 분야에서 질병의 분석 및 치료를 위해 자주 사용되고 있다. 또한 Image에서 얻은 feature는 image registration을 위한 cross-correlation coefficient를 얻는데 사용된다.

5) Mutual Information Based Methods

Mutual information based registration은 image에서 비교 가능한 voxel의 intensitiy의 joint probability를 예측하는 방법이다. Voxel 기반의 registration을 위해 mutual information based measure이 사용된다.

6) Soft Computing Based Methods

최근에 성공적으로 적용되고 있는 방법이다. 인공지능과 Fuzzy Set, 그리고 여러 Optimization Heuristics가 해당된다.

• Artificial Neural Networks
  Neural Network는 이미 mono-modal, muti-modal의 medical image registration 문제를 풀고 있다.

• Fuzzy Sets
  Fuzzy logic은 이전에 추정된 transformation parameter의 정확도를 높여주어 registartion의 성능을 높이는 역할을 한다.

• Optimization Heuristics
  Optimization은 여러 공학 설계 문제들에 적용이 되고 있으며 수학적 model과 objective function이 있다.
  일반적인 방법은 Gradient Descent, Dynamic Programming, Newton Method등이 있다.
  Meta-heuristics 방법은 Genetic Algorithm, Particle Swarm Optimization, Gravitational Search Algorithm, Ant Colony Optimization, Stimulated Annealing, Plant Propagation Algorithm등이 있다.
  이러한 optimization heuristics는 image registration 문제를 풀기 위해 transformation model을 구함에 있어서 optimal한 parameter를 찾는데 적용된다.

5. Performance Analysis

Image registration이 완료되면 결과가 얼마나 정확한지 추정하고 알고리즘의 성능을 평가할 필요가 있다. 또한 iteration 중에 registration의 성능을 높이는데 사용되기도 한다.

Similarity measure의 선택은 image의 modality에 따라 다르다. Correlation Coefficient와 같은 correlation 기반의 metric은 mono-modal registration에 사용되고 Mutual Information은 multi-modal image registration에 사용된다.

1) Correlation Coefficient (CC)

Reference image와 transformed image가 얼마나 유사한지 측정하는 measure이다. 두 image가 완전 동일하면 CC의 값은 1이고, 두 image가 연관성이 없는 경우에는 CC값이 0이 이다. 두 이미지가 완전히 상호 연관되어 있으면 CC값은 -1이다.

$CC=\frac{\sum_i(x_i-x_m)(y_i-y_m)}{\sqrt{\sum_i(x_i-x_m)^2}\sqrt{\sum_i(y_i-y_m)^2}}$

2) Mutual Information (MI)

MI는 두 image에서 voxel의 intensity 사이에서 유사도를 결정하는 measure이다.

두 image가 정확하게 align되면 MI가 최대가 된다. MI는 음의 값을 가질 수 없으며 MI 값이 0이면 서로 독립적임을 나타낸다.

$MI(x,y)=\sum\limits_{y\in Y}\sum\limits_{x\in X}p(x,y)\log(\frac{p(x,y)}{p_1(x)p_2(y)})$

6. Conclusion

Image registration은 다양한 sensor에서 얻은 information을 통합하고, 분석하는데 필수적인 step이며 Medical science, computer vision, remote sensing과 같이 다양한 분야에서 적용되고 있다.

대상 image에 의존성이 심하기 때문에 image registration은 gold standard algorithm은 존재하지 않는다. 그러므로 automatic image registration은 여전히 많은 연구가 필요하다.