문서-단어 데이터, 즉 Bag-of-words 분석을 위해 등장한 수학 개념

• Mean TF-IDF (w)
• 정규화 섀넌 엔트로피(shannon entropy)
• 콜모고로프-스미르노프(K-S) 검정
• CCDF(상보적 누적분포함수)
• PPMI
• COSINE SIMILARITY
• utsumi cs-method
• MST
• Disparity Filter

Mean TF-IDF와 H_norm(정규화 섀넌 엔트로피) 정의하기

Mean TF-IDF (w) : 단어(w) 기준

[수학적 증명]

어떤 단어 $w$의 전 문서 출현 빈도 합을 $TF_{total}$, 문서 빈도를 $DF$, 전체 문서 수를 $N$이라 할 때, 평균 TF-IDF는 다음과 같이 유도됩니다.

$\text{Mean TF-IDF}(w) = \frac{TF_{total}}{N} \times \log\left(\frac{N}{DF}\right)$

여기서 단어의 총 출현 빈도($TF_{total}$)는 일반적으로 등장하는 문서 수($DF$)에 대략 비례합니다. (편의상 $TF_{total} \approx k \cdot DF$라고 두겠습니다.)
또한, 전체 문서 대비 등장 비율을 $x = DF/N$ ($0 \le x \le 1$)이라고 하면 수식은 다음과 같이 변형됩니다.

$\text{Mean TF-IDF}(x) \approx k \cdot x \log\left(\frac{1}{x}\right) = -k \cdot x \log x$

이 함수 $f(x) = -x \log x$는 정보이론의 핵심인 이진 엔트로피 함수 형태와 같으며, 그래프를 그리면 다음과 같은 아치형($\cap$)을 그리게 됩니다.

1. 왼쪽 끝 (극단적인 희귀어, $x \to 0$):
   IDF 값은 매우 높지만, 단어 자체가 거의 등장하지 않으므로 ($DF \approx 1$), 전 문서 평균을 내면 평균 TF-IDF는 0에 수렴합니다.
2. 오른쪽 끝 (극단적인 상투어, $x \to 1$):
   단어는 많이 등장하지만, 모든 문서에 다 나오기 때문에 IDF 값($\log(1)$)이 0이 되어 평균 TF-IDF는 다시 0에 수렴합니다.
3. 가운데 (중간 빈도어, $x \approx 0.368$):
   수학적으로 $x = 1/e$ (약 36.8%) 지점에서 평균 TF-IDF가 최고점(Peak)을 찍고 양옆으로 내려가는 뒤집어진 U자 곡선이 완성됩니다.

H_norm

수학적 기호 정의

• $N$ : 전체 문서의 개수 (N_docs)
• $d$ : 개별 문서 ($d \in \{1, 2, \dots, N\}$)
• $w_d$ : 특정 단어(term)가 문서 $d$에서 가지는 TF-IDF 가중치 (weights)
• $W$ : 특정 단어의 모든 문서에 대한 가중치 총합 (total_weight), 즉 $W = \sum_{d=1}^{N} w_d$

---

단계별 공식 적용

1단계: 가중치 확률 분포 ($p_d$) 계산
특정 단어가 전체 가중치 총합에서 각 문서에 기여하는 비율을 구합니다. (단, 가중치가 0보다 큰 문서 $d$에 대해서만 계산합니다.)
$p_d = \frac{w_d}{W} = \frac{w_d}{\sum_{i=1}^{N} w_i} \quad (\text{단, } w_d > 0)$

2단계: 섀넌 엔트로피 (Shannon Entropy, $H$) 계산
위에서 구한 확률 분포 $p_d$를 사용하여 해당 단어의 원시 엔트로피(Raw Entropy)를 구합니다.
$H = -\sum_{d: w_d > 0} p_d \log_2(p_d)$

3단계: 최대 엔트로피 (Maximum Entropy, $H_{\max}$) 계산
단어가 모든 문서($N$)에 균등하게 퍼져 있을 때 가질 수 있는 이론상의 최대 엔트로피입니다.
$H_{\max} = \log_2(N)$

4단계: 정규화 섀넌 엔트로피 (Normalized Shannon Entropy, $H_{\text{norm}}$) 최종 공식
원시 엔트로피를 최대 엔트로피로 나누어 $0 \le H_{\text{norm}} \le 1$ 범위로 표준화합니다. (단, $N > 1$ 일 때)

$H_{\text{norm}} = \frac{H}{H_{\max}} = \frac{-\sum_{d: w_d > 0} \left( \frac{w_d}{\sum_{i=1}^{N} w_i} \right) \log_2\left( \frac{w_d}{\sum_{i=1}^{N} w_i} \right)}{\log_2(N)}$

(만약 $N \le 1$ 이거나 모든 문서에서 가중치가 0인 단어라면 $H_{\text{norm}} = 0.0$ 으로 처리됩니다.)

---

이 공식이 코드 내에서 가지는 의미

• $H_{\text{norm}} \approx 1$ (최댓값 부근): 해당 단어가 모든 문서에 매우 균등하게 골고루 등장하고 가중치도 비슷하다는 뜻입니다. (정보 분포가 매우 무질서함/퍼져 있음)
• $H_{\text{norm}} \approx 0$ (최솟값 부근): 해당 단어가 특정 한두 개의 문서에만 집중적으로 몰려서 등장한다는 뜻입니다. (정보 분포가 특정 문서에 매우 집중되어 있음)

---

두 수치의 관계

평균 TF-IDF와 문서 빈도(DF)를 알면 아치형 곡선 위의 한 점이 결정됩니다. 하지만 동일한 곡선 상의 같은 점(즉, 평균 TF-IDF와 DF가 완전히 똑같은 두 단어)이라도 실제 분포 형태는 완전히 다를 수 있습니다.

평균 TF-IDF가 제공하지 못하는 "단어 분포의 질적인 모양(Shape)"을 섀넌 엔트로피가 추가로 알려줍니다.

[비교 예시]

총 문서 수 $N=100$인 데이터셋에서 두 단어 $W_A$와 $W_B$가 있습니다.

• 두 단어 모두 10개 문서에 등장했습니다 ($DF = 10$). 즉, 둘 다 아치형 곡선 상에서 같은 $X$축 위치에 있습니다.
• 두 단어 모두 전체 문서에서의 총 출현 빈도가 20회입니다. 즉, 둘의 평균 TF-IDF 값은 완전히 똑같습니다. (곡선 상의 완전히 같은 점에 겹쳐서 위치합니다.)

하지만 실제 문서별 단어 분포를 열어보면 다음과 같은 극적인 차이가 존재합니다.

• 단어 $W_A$ (골고루 등장하는 노이즈 단어):
  • 등장한 10개의 문서에서 각각 정확히 2번씩 균일하게 쓰였습니다.
  • 섀넌 엔트로피 결과: 확률 벡터 $p$가 [0.1, 0.1, ...]로 완벽히 균등하므로 엔트로피가 매우 높게(High) 측정됩니다.
• 단어 $W_B$ (특정 문서에 집중된 핵심 기술 전문 용어):
  • 단 1개의 문서에서 11번 폭발적으로 쓰이고, 나머지 9개 문서에서는 그냥 스치듯이 1번씩 쓰였습니다.
  • 섀넌 엔트로피 결과: 가중치가 1개 문서에 심하게 쏠려 있으므로 엔트로피가 매우 낮게(Low) 측정됩니다.

[추가 정보의 실무적 의의]

평균 TF-IDF만 사용하는 알고리즘은 곡선 상의 위치가 완벽히 일치하는 $W_A$와 $W_B$를 전혀 구분하지 못하고 둘 다 합격시키거나 탈락시킵니다.

그러나 섀넌 엔트로피 필터를 추가하면 다음과 같은 구분이 가능해집니다.

• "평균 TF-IDF는 똑같이 높지만, 엔트로피가 높은 $W_A$는 특허 청구항에 의미 없이 상투적으로 들어간 도메인 소음이구나." $\to$ 필터링 제거
• "평균 TF-IDF가 같으면서 엔트로피가 낮은 $W_B$야말로 특정 특허 핵심 기술을 깊게 다루는 진짜 핵심 기술어구나." $\to$ 토픽 모델링 단어로 최종 채택

---

콜모고로프-스미르노프(K-S) 검정과 CCDF(상보적 누적분포함수)

K-S 검정 (1형)

• 데이터 집단의 경험적 누적 분포 함수(CDF)가 특정 이론 분포와 같은지, 또는 두 데이터 집단의 분포가 서로 같은지 비교하는 비모수적 통계 방법
  • 누적 분포 함수(CDF): 데이터가 작은 값부터 큰 값까지 누적되는 비율을 그래프로 나타낸 것입니다.
  • K-S 통계량(D): 비교하는 두 누적 분포 함수 사이에서 가장 큰 수직 거리(절대값 차이)를 측정합니다.
  • 이 거리(D)가 임계값보다 크면, 두 분포가 서로 다르다는 결론(대립가설)을 채택합니다.

수학적 정의 및 수식

주어진 표본 데이터 $X = \{X_1, X_2, \dots, X_n\}$에 대해 경험적 누적분포함수(Empirical Cumulative Distribution Function, ECDF) $F_n(x)$는 다음과 같이 정의됩니다.
$F_n(x) = \frac{1}{n} \sum_{i=1}^n \mathbb{I}_{(-\infty, x]}(X_i)$
(여기서 $\mathbb{I}_{(-\infty, x]}(X_i)$는 $X_i \le x$일 때 1, 그렇지 않으면 0을 갖는 지시함수)

K-S 검정의 귀무가설 $H_0$는 "표본의 실제 분포 $F(x)$와 가정된 이론적 누적분포함수 $F_0(x)$가 일치한다"입니다. 검정 통계량 $D$는 실제 누적분포와 이론적 누적분포 간의 최대 수직 거리로 계산됩니다.
$D = \sup_{x} |F_n(x) - F_0(x)|$
(여기서 $\sup$은 최소상한(Supremum)을 의미)

계산된 통계량 $D$가 표본 크기 $n$에 의해 도출되는 임계치보다 크거나 유의수준(p-value)이 임계치(주로 0.05) 미만인 경우 귀무가설 $H_0$를 기각하며, 반대로 p-value가 0.05 이상인 경우 해당 분포 모델을 적합한 모형으로 수용하게 됩니다.

CCDF

• CCDF는 확률변수 $X$가 특정 값 $x$보다 크거나 같을 확률을 나타내는 함수입니다.
• 네트워크 과학에서 단어망의 연결수 분포(Degree Distribution)를 시각화할 때, 일반적인 확률밀도함수(PDF)를 사용하면 꼬리(Tail) 영역에 해당하는 거대 허브 노드들의 출현 확률이 매우 낮아 심한 노이즈가 발생합니다.
• CCDF는 누적 확률을 사용하므로 우측 꼬리 영역의 변동성을 매끄럽게 보정(Smoothing)해 주며, 양대수(Log-Log) 스케일 상에서 헤비테일(Heavy-tail) 분포나 멱함수(Power-law)적 경향성을 시각적으로 왜곡 없이 검증하기 위한 표준 도구로 쓰입니다.

수학적 정의 및 수식

확률변수 $X$의 누적분포함수를 $F(x) = P(X \le x)$라 할 때, 상보적 누적분포함수 $\bar{F}(x)$는 다음과 같이 정의됩니다.
$\bar{F}(x) = P(X > x) = 1 - F(x)$

이산형 변수인 단어의 연결 차수 $k$ 분포에 대입하면, 차수가 $k$ 이상인 노드들의 누적 비율 $P(X \ge k)$는 다음과 같이 표현됩니다.
$P(X \ge k) = \sum_{i=k}^{\infty} P(X = i)$

양대수(Log-Log) 평면 상에서 CCDF 플롯을 그렸을 때 완만한 곡선을 그리며 떨어지는 양상은 로그정규(Lognormal) 분포 또는 멱함수 분포의 전형적인 기하학적 특성을 대변합니다.

PPMI와 코사인 유사도

• PPMI는 두 단어가 단순한 우연을 넘어 얼마나 정보이론적으로 강하게 연합되어 있는지를 측정하는 지표입니다.
• 기존의 점별 상호정보량(PMI)은 두 단어의 실제 동시출현 확률이 개별 단어의 독립 출현 확률의 곱보다 작을 때 음수($-\infty$) 값을 갖게 되는데, 이는 말뭉치가 충분치 않을 때 통계적으로 극도로 불안정한 수치를 보입니다.
• PPMI는 이러한 음수 영역의 노이즈를 일괄적으로 0으로 수렴시켜 무의미한 우연적 공존 관계를 제거하고 실질적인 의미적 유착 관계만 보존합니다.

수학적 정의 및 수식

두 단어 $w_i$와 $w_j$의 개별 출현 확률을 각각 $P(w_i)$, $P(w_j)$라 하고, 두 단어가 동일 문맥(특허 청구항 등) 내에서 동시 출현할 결합 확률을 $P(w_i, w_j)$라 할 때, PMI는 다음과 같습니다.
$\text{PMI}(w_i, w_j) = \log_2 \frac{P(w_i, w_j)}{P(w_i)P(w_j)}$

양의 상호정보량(PPMI)은 계산된 PMI 값과 0 중 최댓값을 취하는 맥스(Max) 연산으로 정의됩니다.
$\text{PPMI}(w_i, w_j) = \max\left(\log_2 \frac{P(w_i, w_j)}{P(w_i)P(w_j)}, 0\right)$

이 연산을 통해 동시 출현 빈도가 기대 이하인 무작위적 공존 관계는 원천적으로 차단됩니다.

코사인 유사도

• 코사인 유사도는 다차원 벡터 공간에서 두 벡터 사이의 각도(Angle)를 측정하여 방향의 일치도를 도출하는 기법입니다.
• 의미 네트워크에서는 동시출현 빈도 자체를 엣지로 삼는 직접적 결합을 넘어, 공동의 맥락을 공유하는 패러다임적 관계(Paradigmatic Relation)를 포착하기 위해 PPMI 벡터 간의 코사인 유사도를 연산합니다.
• 예를 들어 'A 단어'와 'B 단어'가 비록 같은 문장에 직접 동시출현한 적은 적더라도, 주변에 쓰이는 단어들의 패턴(맥락 행벡터)이 유사하다면 코사인 유사도는 높게 계산되어 두 단어가 의미적 유사 영역에 속함을 감지해 냅니다.

수학적 정의 및 수식

$V \times V$ 차원의 PPMI 행렬에서 단어 $i$와 단어 $j$를 대변하는 문맥 행벡터를 각각 $\vec{u}_i$, $\vec{u}_j$라 할 때, 두 단어 사이의 코사인 유사도 $S_{ij}$는 다음과 같이 정의됩니다.
$S_{ij} = \text{CosineSimilarity}(w_i, w_j) = \frac{\vec{u}_i \cdot \vec{u}_j}{\|\vec{u}_i\|_2 \|\vec{u}_j\|_2} = \frac{\sum_{k=1}^V u_{ik} u_{jk}}{\sqrt{\sum_{k=1}^V u_{ik}^2} \sqrt{\sum_{k=1}^V u_{jk}^2}}$
(여기서 $\|\cdot\|_2$는 벡터의 L2 노름(유클리드 길이)을 의미)

값이 1에 가까울수록 두 단어의 문맥적 분포가 동일함을 뜻하며, 0에 가까울수록 어떠한 의미적 연결 고리도 공유하지 않음을 뜻합니다.

cs-method

① 개요 및 학술적 의의

• cs-method는 우치미 아키라 교수가 제안한 국소적 상대 임계값(Local Relative Thresholding) 필터링 기법입니다.
• 전역 임계값(Global Threshold) 방식은 빈도가 높고 사방에 연결된 단어들 중심으로만 네트워크를 조밀하게 만들고 저빈도 전문어들을 고립시키는 왜곡을 초래합니다.
• cs-method는 각 단어의 정보 규모(맥락 유사도 합)에 맞추어 개별적으로 임계 범위를 조정하므로, 네트워크 전체의 희소성(Sparsity)을 보존하면서도 저빈도 단어의 고유한 의미론적 이웃들을 균형 있게 보존합니다.

② 수학적 정의 및 수식

임의의 단어 $w_i$에 대해 사전 내 모든 단어와의 코사인 유사도 집합 $S_{ij}$를 구한 뒤, 이를 내림차순으로 정렬합니다. 단어 $w_i$가 우주 전체와 맺고 있는 총 맥락 유사도의 합 $S_i$는 다음과 같습니다.
$S_i = \sum_{k \in V} S_{ik}$

정렬된 단어들을 상위 이웃부터 순서대로 이웃 집합 $V_i^N$에 편입시키며 에지를 형성하되, 편입된 이웃들과의 유사도 누적합이 총 맥락 유사도 $S_i$의 지정된 비율 $R \in [0, 1]$을 돌파하는 지점 $m_i$에서 에지 추가를 중단합니다.
$\frac{\sum_{j=1}^{m_i} S_{ij}}{S_i} \ge R$

이 조건의 고유한 비대칭성 때문에 cs-method는 이론적으로 단방향(Directed) 관계성을 생성하며, 노드 고유의 왜곡 없는 국소 의미론을 추출해 냅니다.

최대 신장 트리 (Maximum Spanning Tree, MST)

① 개요 및 학술적 의의

• 최대 신장 트리(MST)는 그래프 이론을 기반으로, 전체 네트워크 내의 모든 노드를 단 하나의 분절이나 고립(Isolated Node) 없이 하나의 거대한 통로로 연결하면서, 에지 가중치의 합을 최대로 보존하는 순환이 없는(Acyclic) 최소 하부 그래프를 설계하는 기법입니다.
• 의미 네트워크 분석 시 임계값 조절 도중에 단어들이 외딴 섬처럼 고립되어 정보가 단절되는 구조적 붕괴를 영구적으로 방지하기 위해 사용되며, 도메인 기술의 가장 강력하고 유기적인 중심 뼈대(Semantic Spine)를 설계하는 데 특화되어 있습니다.

② 수학적 정의 및 수식

• 노드 집합 $V$와 에지 집합 $E$, 그리고 각 에지의 가중치 $w(e) > 0$로 구성된 원본 연결망을 $G = (V, E)$라 할 때, 신장 트리(Spanning Tree) $T = (V, E_T)$는 원본 그래프의 모든 노드를 포함하되 순환(Cycle) 구조를 갖지 않는 부분 그래프입니다.

• 최대 신장 트리(MST)는 이 부분 그래프 $T$ 중 에지 가중치 합을 극대화하는 최적화 문제의 해로 정의됩니다.
  $\arg\max_{T} \sum_{e \in E_T} w(e)$
  $\text{Subject to } T \text{ is a tree containing all } V$

수학적으로 Kruskal 또는 Prim 알고리즘을 변형하여 구현되며, 네트워크 연결을 $100\%$ 보장하는 필수 뼈대 축으로 기능합니다.

---

7. 디스패리티 필터 (Disparity Filter)

① 개요 및 학술적 의의

• 디스패리티 필터는 세라노(Serrano) 등이 제안한 다중스케일 에지 희소화(Multiscale Backbone Extraction) 기법입니다.
• 글로벌 임계값을 일률적으로 적용하면 가중치 규모가 큰 강한 연결만 살아남고, 특정 하부 영역 내에서 국소적으로 매우 중요한 가교(Bridge) 역할을 하는 연결선들은 모조리 소거됩니다.
• 디스패리티 필터는 통계적 귀무가설 검정(p-value)을 통해 각 노드 관점에서 우연한 분배 수준을 벗어나는 통계적으로 유의미하게 강력한 에지만을 선택적으로 보존함으로써, 이질적인 스케일을 가진 핵심 마이너 백본(Minor Backbone)들을 온전히 살려냅니다.

② 수학적 정의 및 수식

• 임의의 노드 $i$가 인접한 에지들과 맺고 있는 가중치의 총합을 노드 강도 $s_i = \sum_{j} w_{ij}$라 하고, 차수를 $k_i$라 할 때, 특정 에지 $(i, j)$가 차지하는 가중치 비중은 $p_{ij} = \frac{w_{ij}}{s_i}$입니다.

• 귀무가설 $H_0$("노드 $i$의 강도가 $k_i$개의 에지 상에 완전히 무작위적으로 균일 분배되어 있다") 하에서, 특정 에지의 점유율이 실제 관측치 $p_{ij}$보다 크거나 같을 통계적 유의수준 $\alpha_{ij}$는 다음과 같은 누적 확률 적분식으로 계산됩니다.
  $\alpha_{ij} = \int_{p_{ij}}^1 (k_i - 1)(1 - x)^{k_i - 2} dx = (1 - p_{ij})^{k_i - 1}$

• 에지의 양끝단 노드 $u$와 $v$에 대해 양쪽 관점에서의 검정값 중 어느 하나라도 사전에 지정한 유의수준 $\alpha$ (일반적으로 0.05 또는 0.01)보다 작다면, 해당 에지는 우연히 만들어진 관계가 아닌 통계적으로 유의미한 가치를 가진 결합으로 판정하여 최종 백본망에 보존합니다.
  $\min(\alpha_{uv}, \alpha_{vu}) < \alpha$