BNN(Bayesian Neural Network) - 1

최근에 확률 공부를 좀 많이 하고 있고 관련된 논문을 작성해볼려고 하고 있다. 그것 때문에 간단하게 공부했던 걸 적어볼까한다.

베이지안 뉴럴 네트워크

요즘 fusion이 대세 아닌가 이번에는 Bayesian과 Neural Network가 합쳐졌다. 베이지안은 기본적으로 불확실성을 포함된 확률 표현하기 위한 수단으로 사용되기도 한다.

이를 이어받아 ai에서도 불확실성과 overfitting을 예방하는 방법을 고안해냈는데 그게 베이지안 뉴럴 네트워크이다.

간단하게 생각하면 된다. 확률로 모든 걸 표현하기에 불확실성 표현이 가능하고 overfitting문제에서 벗어날 수 있다.

나는 이걸 듣자마다 생각이든게 'softmax같은 걸 빼면 똑같지 않나?'였다.

하지만 좀 더 고민해보면 다르다는 것을 알 수 있었다. 가중치 자체가 고정이 아니라 확률이라 항상 결과가 다르고 회귀문제에서는 단순하게 한가지 정답만 주어지는게 아니라 확률이 나오기에 불확실성이 포함된다. 분류 모델도 결국 총합이 1이 되게 나오는데 그게 아니라 확률이 나오기에 불확실성이 포함된다.

이렇게 보니 되게 괜찮은 개념인거 같다. 나는 애초에 확률이라는 개념을 참 좋아한다. 그리고 ai가 발전해야할 방향이기도 하다고 느끼는데 그런 관점에서 상당히 흥미로운 방식이었다.

다음에는 내가 봤던 예제나 한 번 이야기 해볼까한다.