Face Alignment 요약

i3DMM

use landmark annotation

8개의 Landmark 사용
four corner points of the eyes
the tip of nose
two corner points of the eyes
chin

그 후, 2D landmark를 3D mesh로 옮기는 작업

그리고 corner point of eyes의 centroid to tip of nose 까지의 벡터 $\textbf v$를 구하고, $\textbf p$를 3D 공간 상의 chin으로 잡음.
그 후 vitual plane을 $\textbf p + {1 \over 2} \textbf v$을 지나고 norm vector를 $\textbf v$로 하는 virtual plane으로 잡음.

Rigid Alignment

Portrait Neural Radiance Fields from a Single Image

Rigid Transformation

3D Mean Face가 존재하고 각 Face들의 world coordinate을 rigid transformation 했을 때 loss가 가장 적은 transformation parameter optimizing.

이거 optimize 하는 거는 SVD 기반으로 가능

https://igl.ethz.ch/projects/ARAP/svd_rot.pdf

근데 이건 supervised 형식이네

특정 canonical space로 옮기는 방법은...

에서 아마 $X,Y = 3 \times 66$ 차원 벡터일 것 같긴하다.
여기서

해주고
$\textbf{t} = \textbf y - R\textbf x$
해주면 되지 않을까...?

차후 정리 예정