Stable-DreamFusion

Stable-DreamFusion은 보는 것과 같이 텍스트 기반의 3D 모델링을 지원해준다. 해당 기능을 사용해서 면접 아바타를 자동 생성해볼 것이다.

수행 과정

아래는 Stable-DreamFusion의 깃허브 주소이다.

https://github.com/ashawkey/stable-dreamfusion

해당 주소에서 설명해주는대로 하면된다. 나는 conda를 이용해서 가상환경을 만들어 다운받았다.
수행도중 오류가 발생했는데 해결방법을 공유하겠다.

ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_scheduler'

pip install --upgrade torch
pip install --upgrade transformers

ImportError: ... version `Qt_5.15' not found

pip install --upgrade PyQt5

해당 명령어들을 이용해서 오류들을 해결하고 성공적으로 환경을 구축할 수 있었다.

그리고 이제 명령어를 통해 3D 모델을 생성하면 된다.

해당 명령어를 이용해서 햄버거를 3D 모델로 만들어보았다.

보는 것과 같이 3D 모델이 잘 생성된 모습이다. 하지만 문제점이있다. 생성된 파일에는 mp4 파일만 있고, obj, mtl 파일과 같이 3D 파일 포맷이 만들어지지 않았다.
하지만 해당 문제점은 --save_mesh 명령어를 추가로 붙여주면 해결된다. (ㅎㅎ 꿀팁)

사진과 같이 명령어를 실행해서 햄버거를 3D 모델로 만들어보았다.

명령어를 실행할 경우 obj, mtl 파일을 제대로 저장해주는 모습이다.

해당 파일들을 블렌더를 이용해서 출력해본 결과 잘 보여주는 모습이다.

여기까지는 정말 순조로웠다...

문제점

나는 앞에서도 말했다싶이 현실감있는 면접관을 생성하는 것이 목표이다. 그래서 아래 명령어를 이용해서 현실감있는 면접관을 생성해보았다.

결과는 처참했다..

흠.. 내가 너무 어려운 text와 설정값을 준 것인가해서 다른 방식으로 시도해보았다. 아래는 해당 명령어이다.

흠... 쉽지않다.. ㅠㅠ.. Stable-DreamFusion도 망한 것인가

새로운 시도

text만으로는 면접관을 생성해내는 것이 쉽지않다.
하지만 아래 사진과 같이 Stable-DreamFusion은 이미지를 이용해서 3D 모델을 뽑아주기도 한다.

다음 게시글은 이미지를 이용해서 면접관을 생성해보겠다.. ㅎㅎ

tmi) 연구실에 생일인 친구가 있어서 케이크도 만들어 주었다