상호정보 상관계수 Multi Information Coefficient

• 두 변수 간의 상호 정보 측정
• 변수 간의 정보 의존성을 바탕으로 비선형 관계 탐지
• 서로의 정보에 대한 불확실성을 줄이는 정도를 바탕으로 계산
• 범주형 데이터에 대해서도 적용 가능

• 상호 정보값이 0.90으로 이는 두 변수 사이의 강한 비선형 의존성을 의미

언제 사용할까?

• 두 변수가 범주형 변수일 때
• 비선형적이고 복잡한 관계를 탐지하고자 할 때

실습

import numpy as np
from sklearn.metrics import mutual_info_score

# 범주형 예제 데이터
X = np.array(['cat', 'dog', 'cat', 'cat', 'dog', 'dog', 'cat', 'dog', 'dog', 'cat'])
Y = np.array(['high', 'low', 'high', 'high', 'low', 'low', 'high', 'low', 'low', 'high'])

# 상호 정보량 계산
mi = mutual_info_score(X, Y)
print(f"Mutual Information (categorical): {mi}")

결과

Mutual Information (categorical): 0.6931471805599456