ENN 과 Subjective Logic

우리가 흔히 아는 전통적인 로직은 어떤 명제에 대해 참, 거짓의 이분법적인 방법으로 접근을 합니다. 예를 들어, "밖에 비가 오고 있다."라고 했을 때, 우리는 맞아, 틀렸어라고 대답을 하는 것이죠. 하지만, 실생활에서 우리가 마주하는 상황들은 불완전하거나 "불확실"합니다. 예를 들어, "내일은 비가 올거야"라는 이야기를 했을 때, 우리는 이게 맞는지 틀린지 확신할 수 없습니다. 즉, 이 명제에 대해 "불확실성"이 존재합니다.

Probabilistic Logic은 이런 "불확실성"을 염두해 두고 추론을 하는 방법입니다. "날씨가 흐린 것을 보니, 내일 70%의 확률로 비가 올거야"라고 이야기하는 것처럼, 우리가 가진 어떤 정보를 통해 특정 명제에 대한 믿음의 정도(Belief) 또는 불확실성(Uncertainty)을 제시하고 이를 확률적으로 표현합니다.

Subjective Logic은 앞서 언급한 Probabilistic Logic의 한 종류로, 정보의 조각들 또는 의견(Opinion)들에 대한 belief들과 불확실성에 대해 디리클레의 분포(Dirichlet Distribution)를 사용한 벡터로써 표현합니다. 그리고, 각각의 belief들과 uncertainty mass의 합은 1을 만족합니다. 이를 식으로 표현하면 다음과 같습니다.

이 때, $u\geq0,\;b_k\geq0$ 이고, belief mass는 singleton에 대한 evidence를 통해 계산이 됩니다.

그럼 여기서, ENN 모델의 역할은 무엇일까요?
ENN 모델의 학습은 결국 주어진 데이터로부터 belief mass를 계산하기 위한 evidence를 수집하는 과정이라고 볼 수 있습니다. Classification task의 경우, $K$는 각 class에 해당하고, $b_k$는 각 class에 대해 다음과 같이 evidence를 이용하여 belief mass를 추정하게 됩니다.

또한, probability로 나타내기 위해, $\alpha$라는 하나의 파라미터를 이용하여, $\alpha_k = e_k+1$로 설정하고, 각 class에 대한 probability를 $\frac{\alpha_k}{\sum_{k=1}^{K}{e_{k}+1}}$로 할당합니다.

결론적으로 ENN을 썼을 때의 장점은 다음과 같습니다.
1. Softmax function에 의해 생성된 class probability를 Dirichlet distribution으로 바꿈으로써, softmax function이 야기하는 probability inflation 현상을 줄일 수 있다.
2. 마지막 softmax 레이어를 non-negative activation layer로 바꿈으로써, 일반적인 뉴럴네트워크 모델에 쉽게 적용시킬 수 있어, 기존의 Bayesian Neural Network들보다 연산적으로 효율적이다.
3. 데이터에 uncertainty를 할당하고 "I don't know state"를 활용하여, 아래의 오른쪽 그림과 같이 모델의 데이터에 대한 불확실성을 나타낸다.

Reference

Uncertainty Characteristics of Subjective Opinions
Multidimensional Belief Quantification for Label-Efficient Meta-Learning
Evidential deep learning for open set action recognition
Evidential Deep Learning to Quantify Classification Uncertainty