Information Theory

엔트로피란 무엇이며 어떻게 계산하는 것일까? 정보이론의 첫 번째 관문인 엔트로피에 대해 정리해보자.

엔트로피의 개념은 알겠는데… 그래서 어디에 쓰는건데? 🤔💭 이번 포스팅에서는 엔트로피가 데이터와 어떤 연관이 있는지 정리해보도록 하겠다.

정보 이론을 배운다면 꼭 배우게 되는 Shannon's source coding theorem에 대해 관련 개념들과 함께 정리한 글이다.

Symbol codes와 Kraft inequality에 대해 자세히 정리한 포스팅. 알파벳과 코드에 대해 데이터를 효과적으로 압축하여 코드로 나타내보자.