Pixel CNN++ 논문에서 softmax말고 discretized logestic mixture likelihood를 사용했다는데, 이게 뭔지 몰라서 찾아 보았다.
discretized logestic mixture likelihood는 PixelCNN++, WaveNet에서 이산 값을 예측하는데 사용된다.
maximum likelyhood 가 연속적인 값에 대해 쉽게 예측할 수 있기 때문에 간단하다. 이산 값에 확률 계산을 채택하는 방법만 있으면 되는데, 픽셀 값 예측의 경우 [x-0.5, x + 0.5] 범위가 이산 정수 x에 속한다고 생각할 수 있다. maximum likelyhood를 적용하면 평균과 분산을 쉽게 계산할 수 있기 때문에 분포를 예측할 수 있다.
구현해보기 위해 읽었던 github 자료:
https://github.com/Rayhane-mamah/Tacotron-2/issues/155
𝑯𝒐𝒏𝒆𝒔𝒕𝒚 𝑰𝒏𝒕𝒆𝒈𝒓𝒊𝒕𝒚 𝑬𝒙𝒄𝒆𝒍𝒍𝒆𝒏𝒄𝒆