0. Limitations in NeRF

NeRF는 3D object 또는 scene을 촬영한 이미지들로 향하는 ray 위의 점을 샘플링해서 학습한 모델을 이용하여 새로운 시점에 대한 이미지를 렌더링하는 기술이다. 이 기법은 일정한 거리에서 촬영한 이미지들에 대해 좋은 렌더링 결과를 보여줬지만, 가까이에서 바라보는 시점에 대한 이미지는 흐릿한 현상이 발생했고, 거리가 먼 시점에 대한 이미지는 계단현상이 발생하는 한계를 보였다. 또한, NeRF는 fine network와 coarse network를 통해 최종 픽셀 값을 결정하게 되는데, 큰 해상도의 이미지는 ray 수도 많을 뿐더러 샘플링하는 점의 수까지 많아지다보니 모델에 입력할 query가 많아서 하나의 이미지를 렌더링하는데 오랜 시간이 걸린다는 단점이 있었다.

본 논문은 이러한 한계점을 극복하고자 새로운 방식을 제안한다.

1. Cone tracing

우선, 기존의 NeRF는 카메라에서 object나 scene의 3D point를 향해 발사되는 ray 위의 점들을 샘플링한 후 누적하여 픽셀의 최종 색을 결정했다. Mip-NeRF는 이런 얇은 광선 대신 콘(cone) 형태의 ray를 발사한 후 일정 구간으로 쪼개진 conical frustum 안의 좌표들을 사용하게 된다.
$t_0, t_1$ 시점 사이의 Conical frustum 안에 있는 3D 좌표들인 $\bold{x}$는 다음과 같다.

Wedge 기호를 기준으로 왼쪽 부분은 ray marching이 수행되는 거리의 범위, 오른쪽 부분은 각도의 범위를 나타낸 것으로, 해당 범위에 속한 좌표들만을 사용하는 것이다.

하지만, 얻어낸 conical frustum 위의 좌표들에 단순하게 positional encoding($\gamma(\bold{x})$)을 해서 계산을 한다면 다음의 적분식은 closed form 형태가 아니므로 계산을 할 수 없다.

그래서 이 conical frustum을 추후에 다룰 integrated positional encoding (IPE) 를 위해 다변수 가우시안으로 근사화한다. 이를 위해 $F(\bold{x}, \cdot)$의 평균과 공분산을 구해야 한다. conical frustum은 원형이고 대칭이므로, 이 Gaussian 분포는 광선과 평행한 방향으로의 평균 거리 $\mu_t$, 광선과 평행한 방향으로의 분산 $\sigma^2_t$, 광선과 수직인 방향으로의 분산 $\sigma^2_r$ 세 개의 값으로 설명할 수 있다.

우선 기존의 Cartesian space에 정의된 좌표 $\bold{x} = (x,y,z)$는 광선이 퍼지는 효과를 제대로 반영하기 어려우므로, $(r, t, \theta)$ 좌표계로 변환해준다. 여기서 $r$은 radius로 광선의 퍼짐 정도를, $t$는 광선의 깊이(depth), $\theta$는 광선의 기울기를 나타낸다. 여기서 $x, y, z$는 각각 $rt\cos{\theta}, rt\sin{\theta}, t$로 나타낼 수 있고, 이렇게 변환된 변수는 미분가능하게 해준다. 그 이유는 :

여기서 Jacobian 행렬 $J$는 다음과 같이 구성되고,

그럼 $|J| = rt^2$이 되므로 $dxdydz = (rt)drd\theta dt$가 되기 때문이다.

Conical frustum $F(\bold{x}, \cdot)$의 부피 $V$는 다음과 같다.

따라서 conical frustum에서 균일하게 샘플링된 점들의 확률 밀도 함수는 $\frac{rt^2}{V}$ 이 되고, t의 1차 모멘트(moment)와 2차 모멘트는 다음과 같다.

이를 활용하여 $\sigma_t^2= E[t^2]-E[t]^2$을 구할 수 있다.
Conical frustum의 반경 $r$에 대한 분산은 대칭성에 의해 균일하게 점을 샘플링하면 기댓값이 중심인 $0$으로 오게 된다. 즉, $\sigma_r^2 = E[x^2]$이 된다.

이렇게 구한 $\mu_t, \sigma_r^2, \sigma_t^2$을 이용하면, $t_0$와 $t_1$이 큰 차이를 낸다면 괜찮지만, 서로 가까이 위치해있을 때 이 차이를 큰 지수 값으로 계산하게 되면 값이 $0$ 또는 $NaN$을 뱉는 경우가 있으므로, $t_0, t_1$ 대신 $t_0$와 $t_1$의 중점인 $t_\mu = \frac{t_0 + t_1}{2}$, $t_0$와 $t_1$사이의 거리의 절반인 $t_\delta = \frac{t_0 - t_1}{2}$ 로 파라미터를 바꾸어 사용한다고 한다. 최종 변수들은 다음과 같다.

여기서 $t_\mu$는 $t_0$와 $t_1$의 중점이고, $t_\delta$는 $t_0$와 $t_1$ 사이의 거리의 반을 나타낸다.

Conical frustum 좌표계에서 정의된 가우시안 분포는 다음과 같이 world coordinate으로 변형할 수 있다.

여기서 $\mu$는 평균 벡터로, 데이터의 중심을 나타내고, $\Sigma$는 공분산 행렬로, 데이터의 퍼짐 정도를 나타낸다. 이를 통해 world coordinate에서 데이터의 분포를 정확히 모델링할 수 있게 된다.

2. Integrated positional encoding (IPE)

다음 그림은 1차원 공간에서 positional encoding(PE)와 integrated positional encoding(IPE)의 차이를 보여준다. NeRF는 각 ray 위에서의 점들을 샘플링하고 모든 주파수를 동일하게 인코딩한다. Aliasing이라고 불리는 계단현상은 고주파 신호가 저주파 신호로 왜곡되는 현상인데, 이는 샘플 간격에 비해 고주파 특성들이 너무 많이 표현되면서 발생하는 것이다. IPE는 주파수 구간을 통합함으로써 고주파 특성들이 구간의 크기에 비례해 감소하게 하여 anti-aliasing 효과를 얻을 수 있다.

우선 coordinate space에서의 좌표 $\bold{x}$를 frequency space로 Fourier feature를 통해 embedding할 수 있다.

이를 이용해 Gaussian 분포의 데이터를 기존의 좌표계에서 positional encoding을 적용하여 고차원 공간으로 변환할 수 있다. 공분산은 $Cov[A\bold{x}, B\bold{y}] = A\,Cov[\bold{x}, \bold{y}]B^T$라는 성질을 이용하여 다음과 같이 변환된다.

최종적으로 IPE feature를 얻는 단계는 이 다변량 가우시안에서 무작위로 샘플링된 값들의 평균을 나타내는 기댓값을 계산하는 것이다.

3. Optimization

NeRF는 coarse network, fine network 두 개의 네트워크를 사용하여 최종 이미지 픽셀 값을 정하였다. 하지만, Mip-NeRF는 multi-scale representation이 가능하므로 단 하나의 네트워크만을 사용하여 이미지 픽셀 값을 결정하므로 모델 사이즈도 절반으로 줄일 수 있고, 샘플링도 더 효과적이고, 전체적인 알고리즘도 단순해진다.