image-to-3D

앞에 게시글에서 이야기했던대로 text만으로는 성능이 부족하기 때문에 이미지를 이용해서 3D로 만들어 볼 것이다.

깃허브에 나와있는대로 해당 명령어를 이용해서 이미지를 전처리 해준다.

사용한 이미지는 앞에서 GET3D할때 사용했던 이미지를 재활용 하였다. ㅎㅎ 참고로 전처리된 이미지는 사용한 이미지와 같은 폴더에 아래와 같은 형식으로 저장된다.

전처리를 성공적으로 수행하면 아래와 같은 결과가 나온다.

원본 이미지

전처리된 이미지

이제 아래 명령어를 이용해서 3D 모델을 생성해주면 된다.

아래는 내가 입력한 명령어이다.

사진과 같이 20분만에 100 epoch를 끝내고 완료한 모습이다.
아래는 결과물이다.

보는 것과 같이 epoch 100만으로는 그렇게 좋은 결과물을 보여주지 않는 모습이다.
그래서 아래와 같이 epoch를 300으로 설정하여 프로그램을 돌려보았다.

아래는 결과이다.

결과물을 보면 epoch 100에 비해서는 좀 좋아진 모습이다. 아래는 블렌더를 이용하여 본 모습이다.

블렌더를 이용해서 볼 경우 여전히 떨어지는 모습이다...
퀄리티를 더 높이기위해 여러장의 사진으로 학습해보기로하였다. 아래는 여러장의 사진을 이용한 명령어와 사용한 여러장의 사진이다.

하지만 문제가 발생했다. 해당 프로그램은 여러장의 사진을 이용해서 프로그램을 실행하지 못한다. 단일 사진만을 이용해서 학습하는 구조이다. 그래서 제일 마지막에 넣은 017_rgba.png 사진만을 이용해서 학습했고 아래는 결과이다.

017_rgba.png 가 옆모습이라 옆보습은 잘 보여주지만 앞모습은 많이 부족한 모습을 볼 수 있다.

지금까지 Stable-DreamFusion을 이용한 면접관 생성을 시도해보았으나, 만족할만한 결과를 뽑아내지 못하였다. 해당 내용을 세미나때 발표하였고, 교수님께서 GET3D쪽을 다시 한번 시도해보라고 하셔서 다시 GET3D를 이용한 면접관 생성을 시도해볼 것이다!

다음 게시글은 GET3D를 이용한 면접관 생성이다! 화이팅!