
최근 DNN과 정보이론을 매핑하여 해석하려는 관심이 높아지고 있음.Information Plane(IP) : 얼마나 입력 정보를 유지하면서 원하는 출력 정보도 얻을 수 있는지 나타내는 것(네트워크 학습의 두 단계를 설명)SGD 최적화 과정 중Fitting phase :

Shannon과 Weaver가 분류한 levellevel 1. transmission of symbols : 성공적인 symbols의 전달 필요level 2. semantic exchange of transmitted symbols : semantic communica