지난 4월 30일, 교수님과 세 번째 미팅을 가졌고 NVP 모델에서 대부분의 용량을 차지하고 있는 sparse positional features에 대해 진행한 여러 실험 결과를 전달해 드렸다. 이후 추가적으로 시도해 볼 만한 아이디어들에 대한 조언을 받았고, 이를 토대로 앞으로 진행해 볼 것들을 정리해 보고자 한다.
1. Codec-Friendly Training
지금까지 neural field에 영상의 내용을 담는 과정은 latent code를 codec으로 압축한다는 전제가 배제되어 있다. 즉, 모델의 구조나 학습 방법에 codec의 특성이 전혀 고려되고 있지 않기에, codec에 적합한 모델이라고 보긴 힘들다.
이에, 학습 과정에서 codec에 대한 guidance를 준다면 최종적으로 학습되는 latent code를 codec-friendly하게 변화시킬 수도 있을 것이다.
학습과정 중간중간마다 sparse positional features를 codec으로 압축시키고 불러오길 반복하며 학습의 효율과 최종 성능을 측정해 보기! + Tucker decomposition도 마찬가지로 시도해 볼 수 있을 듯.
2. Tucker Decomposition-Based Initialization
앞서 sparse positional features에 적용한 Tucker decomposition의 경우, 3차원의 tensor를 축소된 3차원 tensor 하나와 2차원의 projection matrix 세 개로 분해하게 된다. 사실 생각해 보면 NVP 모델도 3차원의 latent grid 하나와 2차원의 latent grid 세 개로 neural field를 구성하게 되는데, 어쩌면 수학적 원리를 기반으로 한 Tucker decomposition의 구성과 latent grid의 구성이 일관된다면 더 의미 있는 결과를 얻어낼 수 있지 않을까 하는 생각을 해보았다.
원본 영상에 Tucker decomposition을 적용한 결과로 각 latent grid를 initialize한 뒤 학습 추이 살펴보기!
3. Utilizing Image Compression Ideas
이건 교수님께서 제안하신 건데, image compression 관련 최근 논문들을 읽어보고, 그런 논문에서 사용하는 codec-friendly한 idea를 가져와 사용해 보는 것이다. 시간이 나는 대로 이런저런 논문을 최대한 읽어볼 예정... (시간이 날까..?)
Image compression 분야의 neural field에서 사용한 codec-friendly한 idea를 적용해 보기!
요새 학교 수업 플젝도 슬슬 시작돼서 많이 바빠졌는데, 틈틈이 시도해 봐야겠다.
