PIFU

PIFU에 대한 시도는 이미 다른 랩원이 해보았기 떄문에, 공부한 내용만 정리하고 마무리하겠다.

사진에서 보는 것과 같이 input 이미지를 이용해서 3D 모델을 생성해준다.

간단한 방법론

훈련 단계에서는 다양한 예제 데이터를 통해 PIFu와 Tex-PIFu 모델을 학습시킨다. PIFu는 학습 과정에서 각 픽셀이 3D 모델의 어느 위치에 해당하는지, 그리고 그 위치가 모델의 내부인지 외부인지를 구분하는 방법을 익힌다. Tex-PIFu도 마찬가지로, 3D 모델의 각 부분에 어떤 색(RGB 값)을 입혀야 할지를 학습한다.

추론 단계에서는 훈련이 완료된 후, PIFu는 새로운 2D 이미지를 받아 이를 바탕으로 3D 표면을 생성한다. 이 때, 모델은 각 픽셀이 3D 모델의 '안'인지 '밖'인지 확률 값을 계산하여 사용한다. 이 정보를 통해 3D 표면(등위면)을 만들어 냅니다. 3D 표면이 만들어진 후에는 Tex-PIFu가 이를 받아서 텍스처를 입힌다. 이 모델은 3D 모델의 각 위치에 어떤 색깔을 입혀야 할지 확률적으로 예측하고, 그 결과를 바탕으로 텍스처를 생성한다.