Wassserstain distance는 Earth Mover's distance라고도 불리운다. 이 방법은 WGAN (Arjovsky 2017)에서 사용된 방법으로 생성모델 계보에서도 의미가 있다. 이 방법은 두 확률 분포 간의 사이를 측정하는 방법 중 하나이다. (다른 방법의 예시로는 KL Divergence가 있다.) 예제와 함께 개념을 이해해보자.

두 개의 분포 P, Q가 있을 때 각 분포는 4개의 모래더미가 있고 전체 더미의 합은 10이다.
$P_1=3, P_2=2, P_3=1, P_4=4$
$Q_1=1, Q_2=2, Q_3=4, Q_4=3$
이 때 P와 Q의 분포를 같게 해주려면 어떻게 해야할까?

두 분포를 앞에서부터 갖게 만들어주는 방법을 사용한다.

• $(P_1, Q_1)$을 같게 만들기 위해서 $P_1$에서 $P_2$으로 2만큼 옮긴다.
• $(P_2, Q_2)$을 같게 만들기 위해서 $P_2$에서 $P_3$으로 2만큼 옮긴다.
• $(P_3, Q_3)$을 같게 만들기 위해서 $P_3$에서 $P_4$로 1만큼 옮긴다.

두 분포 $P_i$와 $Q_i$를 같게 만들기 위한 비용이 $\delta_i$라 한다면

로 정의할 수 있다.

결국 이산적인 경우 최종적인 EM distance 식은

이 되고 N은 분포 내 전체 pile의 개수이다. 그럼 이 예제에서는 위 식에 따르면 이 예시에서는

$\delta_0 =0$
$\delta_1 = 0+3-1 =2$
$\delta_3 = 2+2-2=2$
$\delta_4 =-1+4-3 =0$ 이므로 총 $W$는 4가 된다.

이번에는 예제를 옮겨야하는 모레 비율의 총량의 변화와 이동거리에 대한 관점으로 옮겨 생각해보자.
$\mu, v$가 연속확률 분포라면 우리는 식을 다음과 같이 정의할 수 있다.

• $\Gamma(P,Q)$는 P와 Q사이에서 가능한 모든 joint probability distribution(결합확률분포) set이고 $\gamma \in \Gamma$는 하나의 결합분포.
• $p$는 moments : 일종의 차원이라고 생각하면 쉽다. $p∈[1,+∞]$
• ||x-y|| : x에서 y로 옮겨야 하는 모레의 이동거리 (x,y는 앞선 예제에서의 P, Q이다.)
  • $x$는 $\mu$로부터 $y$는 $v$로부터 왔음
• $\inf$ : greatest lower bound (오직 최소값에만 관심을 두는 것을 의미)

두 확률분포 $\mu, v$의 총합은 동일하기 때문에 y에 대한 확률분포 $\mu$의 총합은 전체 결합분포와 x에 대한 $v$의 확률분포의 합은 같다.

로 볼 수 있다.

Reference