엔트로피(Entropy) 분류과정의 손실함수를 설명하기 위해선 엔트로피에 대한 설명이 먼저 필요합니다. 물리학과 정보학에서 사용하는 엔트로피는 유래가 같지만 사용 목적에 따라 의미가 갈린다고 생각합니다. 전자에서는 자연상태를 설명하기 위한 수단이라면, 후자에서는 자원을 배분하기 위해 고안한 개념에 가깝습니다. 엔트로피는 본래 물리학의 열역학에서 이용되는 함수 이름입니다. "무질서도" 혹은 "불확실성"이라는 말로 번역되기도 하는데, 어떤 공간 안에서 에너지가 골고루 퍼져나가려는 상태를 말합니다. 아무리 질서정연하게 모아놓고 정리하려 해도 분산되려는 성질을 의미하는거죠. 사전적 의미 정보학에서의 엔트로피는 정보를 표현하는데 필요한 가장 작은 평균 자원량을 의미합니다.출처 친구와