사용한 빅데이터 분석 기법과 그 파이프라인

1. 텍스트 마이닝
1-1 개요
- 텍스트 마이닝은 앞으로 진행할 빅데이터 분석의 기반이 된다. 단어를 spaCy API로 Parsing하고, 노이즈 제거를 위해 Mean TF-IDF vector와 정규화 섀넌 엔트로피, 불용어 사전을 활용했다.
1-2 텍스트 마이닝 설계
-
우선 분석의 용이함을 위해, 개별 특허 항목에 대해영어로 작성된 대표청구항에 대해서만 텍스트 마이닝을 진행하였다.
-
텍스트 마이닝에서 "중요한 기술은 명사형태로 존재할 것"이라는 가정 하에 진행되었다. 이에 따라 spaCy API를 활용하여 명사와 고유명사 품사만 Parsing했다.
POS_WHITELIST = ("NOUN", "PROPN")
if token.pos_ in POS_WHITELIST:
lemma = token.lemma_
if len(lemma) >= 2 and lemma.isalpha():
canonical_word = synonym_map.get(lemma, lemma)
- Mean TF-IDF와 섀넌 엔트로피를 통해 Parsing된 단어들을 수치화하고, 상한-하한 임계를 주어 유의미한 범위 내의 단어들을 filtering했다. 이때 임계치는 연구자의 반복을 통해 설정되었다.
ENTROPY_RATIO_MAX = 0.73
ENTROPY_RATIO_MIN = 0.05
TFIDF_MEAN_MIN = 0.003
TFIDF_MEAN_MAX = 0.04
- 불용어사전을 사용하여, 미처 걸러지지 않은 이미 무의미한 단어들을 사전에 filtering했다. 여기에는 오타도 포함되어 있으며, 전치사 등과 모든 문서에 공통적으로 나오는 3D, NAND, FLASH, MEMORY 등의 단어도 포함된다.
from sklearn.feature_extraction.text import ENGLISH_STOP_WORDS
CUSTOM_STOPWORDS = [
"anda", "semiconductor", "memory", "device", "flash", "nand", "vertical", "processing",
"nonvolatile", "dimensional", "dimension", "non", "mention", "kind", "number", "time",
"method", "apparatus", "device", "step", "comprise", "comprising", "include", "including",
"formed", "having", "plurality", "thereof", "according", "wherein", "least", "first", "second",
"system", "process", "using", "invention", "claim", "claims", "embodiment", "disclosure", "mentioned",
"ha", "andthe", "andfirst", "andwherein", "andsecond", "andat",
]
WHITELISTS = {"via", "through"}
merged_stops = set(list(ENGLISH_STOP_WORDS.union(CUSTOM_STOPWORDS) - WHITELISTS))
- 다만 전치사이더라도, 기술적으로 중요한 단어, 가령 Through와 via는 TSV 기술의 핵심이므로, 다음의 조치를 취해 선별적으로 필터링했다.
pattern_singular = [
{"LOWER": "through"},
{"OP": "{0,3}"},
{"LOWER": "via"}
]
pattern_plural = [
{"LOWER": "through"},
{"OP": "{0,3}"},
{"LOWER": "vias"}
]
ruler.add(patterns=[pattern_singular], attrs={"TAG": "NN", "POS": "NOUN"}, index=0)
ruler.add(patterns=[pattern_singular], attrs={"TAG": "NN", "POS": "NOUN"}, index=-1)
ruler.add(patterns=[pattern_plural], attrs={"TAG": "NN", "POS": "NOUN"}, index=0)
ruler.add(patterns=[pattern_plural], attrs={"TAG": "NNS", "POS": "NOUN"}, index=-1)
1-3 텍스트 마이닝 결과
- 본인은 스스로 제시한 기준에 따라 영어 대표청구항이 있는 2034개 문서를 바탕으로 154개 단어를 Parsing하였다. 각각은 모두 정규화 섀넌 엔트로피와 Mean TF-IDF를 계산하였다.
- Filtering 이후에 단 한 개의 단어도 남지 않은 대표청구항이 11개 존재하였다.
2. 토픽모델링
-
토픽모델링은 LDA Topic Modeling을 진행했다.
-
LDA Topic Modeling을 진행하기 위해 Gensim API를 활용하였으며, 다음 논문을 참고하였다: "LDA, Top2Vec, BERTopic 모형의 토픽모델링 비교 연구" - "A Comparative Study on Topic Modeling of LDA, Top2Vec, and BERTopic Models Using LIS Journals in WoS"
- Gensim API를 활용하여 토픽 모델링을 진행할 때 우리가 지정해야 하는 세 가지 하이퍼파라미터(Hyper-parameters)가 존재한다.
- K: 토픽의 개수
- α(alpha): 문서 - 토픽 밀도를 결정하며, 문서의 토픽 분포를 통제
- 값이 크면 각 문서가 여러 개의 토픽을 골고루 가난하게 포함한다고 가정합니다.
- 값이 작으면 각 문서가 소수의 특정 토픽만 집중적으로 가진다고 가정합니다.
- η(eta): 토픽 - 단어 밀도를 결정하며, 토픽 내에서 단어의 분포를 통제
- 값이 크면 각 토픽이 대다수의 단어를 포함하는 넓은 분포를 갖습니다.
- 값이 작으면 각 토픽이 소수의 핵심 단어로만 이루어진 뚜렷한 구성을 갖습니다.
- 알맞은 K값을 찾기 위해 토픽 개수 별 Perplexity,Cv,Cuci,Cnpmi를 계산한 뒤, 이를 바탕으로 최적의 K값을 찾고자 하였다.
- α, η의 경우에는 Gensim API의 하이퍼파라미터 'auto'를 할당하여 default 상태에서 학습을 시작해(param = 1/K), 데이터를 통해 직접 하이퍼파라미터를 갱신(symmetric to asymmetric)하도록 했다.
- 이 경우, 모델의 보편성을 해치지 않으면서, 적절한 값을 계산할 수 있다.
- 우리는 다음과 같은 그래프를 얻어 K = 12로 정하였다.

- Perplexity는 모델이 실제 데이터를 얼마나 잘 예측하는지 나타내는 통계적 확률 지표이다. 모델이 문구나 다음 단어를 예측할 때 얼마나 혼란스러워하는지를 측정하며, 이는 낮을수록 좋다
- Coherence(Cv)는 특정 토픽 안에 포함된 상위 단어들이 서로 얼마나 의미적 유사도가 높고 일관성이 있는지를 측정하는 지표이다. 값이 높을수록 사람이 해석하기에 명확하고 논리적인 주제로 묶여 있음을 뜻한다.
- Cuci와 Cnpmi는 Coherence 보조지표로 Coherence 값이 모호할 때 활용할 수 있다.
- 일반적으로 Coherence가 높은 K를 선정하는 것이 일반적이며, Perplexity는 일반적으로 K가 증가할 때마다 하락하는 성질이 있기 때문에 Coherence보다 중요도가 낮다.
- 수치를 종합해보았을 때, K = 8 또는 K = 12가 유력하다. 우리 주제의 기술분류를 보다 세부적으로 보기 위해 K = 12를 선정하여 재차 모델링을 하고, 그 결과를 시각화하였다.
-
다음은 K = 12의 분석 결과이다.




-
2010 ~ 2024년을 전체 분석한 다음, 연도별로 사후추적을 하여 선 그래프, 포트폴리오 선점도, 키워드 비중 분포를 확인해보았다.
- Topic 4, 12, 7이 많은 비중을 차지하면서, 주류 핵심 영역에 속하였다. 또한 Topic12은 2024년에 여타 토픽들보다 가장 많은 비중을 차지하였다.
- 토픽을 구성하는 단어들로 미루어볼 때, Topic12는 "3D NAND FLASH의 전기적 검사 내지는 읽기-쓰기-기능 검사"로 보인다.
- 또한 4, 12, 7에 이어 높은 비중을 가지고 있는 Topic6은 포트폴리오 산점도에서 신생/유망 영역에 속해있다.
- 주제를 유추해보면 "3D NAND FLASH 주변회로 혹은 다이 수직 접합 기술"으로 해석할 수 있을 것 같다. (CoP 구조 혹은 HBF로 해석 여지 존재)
2. 시계열 워드클라우드
- 시계열 워드클라우드는 토픽 모델링의 연장선으로 해석할 수도 있을 것 같다. 주제에 상관 없이 가장 TF-IDF 점수가 높은 상위 N개 단어를 추출하여 연도별로 전시하고 있다.

여러분 이거 뭔가 음...인데 연도를 최근 5개년만 봐볼까요??
3. SNA(Social Network Analysis)
3-1 네트워크 설계
- SNA에서는 연구자가 직접 네트워크를 설계하고 노드(단어)간의 관계를 분석해야 한다.
- 네트워크를 구성하는 방법은 우선 텍스트 마이닝 과정을 통해 얻은 단어를 정점(Node, Vertex)로 정하고, 그렇게 얻은 단어들을 다시 대표청구항을 읽어 PPMI > 0 인 단어들끼리 간선(Edge)을 이었다.
- 위와 같이 설계된 네트워크는 아직 간선 Filtering이 진행되지 않았으며, 후술할 내용에서 세 가지 방식으로 Fitering을 진행한다.
3-2 네트워크 필터링 방법
- 본 분석을 위해 다음의 논문과 학술지를 참고하였다.
- A Complex Network Approach to Distributional Semantic Models (Akira Utsumi)
- Scale-free networks are rare (Anna D. Broido1, Aaron Clauset)
- Network statistics and thresholding (Andrew Zalesky)
3-2-1 Disparity Filter
- PPMI 값을 가중치로 하여, Disparity Filter를 적용했다. 유의수준은 경험적 수치에 의해 0.05%로 설정하였다.
αij=(1−pij)ki−1<0.05 (ki: 정점 i의 차수)
pij=siwij (여기서 wij는 i,j 사이의 PPMI 가중치, si=∑jwij는 노드 i의 강도)
- 다음 수식을 통해 αij를 계산하여 유의수준 아래의 가중치를 가진 간선만 남기고 모두 지워 네트워크를 구성한다.
3-2-2 MST(Maximum Spanning Tree) + M-Strongest
- PPMI 값을 가중치로 한 다음, 각 가중치를 역수를 취하고 모든 합이 최소가 되도록 간선을 정리해(각 노드는 최소 한 개 이상 간선을 가지고 있다) Maximum Spanning Tree를 만든다.
- 가중치에 역수를 취하는 이유는, 가중치에 역수를 취한 뒤 Minimum Spanning Tree를 구하는 알고리즘을 적용할 수 있고, 그렇게 얻어진 Minimum Spanning Tree의 가중치를 다시 복원하면 최종적으로 Maximum Spanning Tree를 얻을 수 있기 때문이다.
- 모든 노드가 연결되어 있는 Maximum Spanning Tree를 구하여 뼈대를 구성하고, 이후 간선을 가중치 내림차순으로 정렬하여 상위 M개 간선을 추가하여 주변 노드 관계를 복원하였다(M-strongest).
- 이때 M은 연구자의 반복, 경험적인 수치이다.
3-2-3 CS-Method
- cs-method는 Akira Utsumi 박사가 고안한 국소적 상대 임계값(Local Relative Thresholding) 필터링 기법으로, 각 단어의 정보 규모(맥락 유사도 합)에 맞추어 개별적으로 임계 범위를 조정한다.
- 이를 통해 네트워크 전체의 희소성(Sparsity)을 보존하면서도 저빈도 단어의 고유한 의미론적 이웃들을 균형 있게 보존한다고 설명한다.
- cs-method를 활용하기 위해 간선의 가중치를 단순 PPMI 수치로 두지 않고, PPMI 행렬을 구상하여 그 코사인 유사도를 맵을 계산했다.
- PPMI는 관계를 가지는 단어가 같은 대표청구항에 동시직접출현을 측정하지만, 코사인 유사도를 계산하면 두 단어가 서로 직접 만나지는 않았더라도 주변에 거느리는 문맥적 단어들의 패턴이 유사한 관계를 포착할 수 있다.
- 다만 동시출현정보가 약해지는 단점이 있다.
- PPMI 행렬은 단어 - 단어 행렬이고, 코사인 유사도 맵 또한 단어 - 단어의 행렬 형태이다. 이때 두 행렬 모두 대각성분은 1이 아닌 0으로 치환한다(i.e. Apple은 Apple과 항상 같이 출현한다)
- 구한 코사인 유사도 맵으로 CS-Method를 적용한다.
Si∑j=1miSij≥R
Si=∑k∈VSik
-
PPMI 가중치를 정렬하여 그 관계가 상위 이웃인 노드들부터 ViN에 편입시키며 간선를 형성하되, 편입된 이웃들과의 유사도 누적합이 총 맥락 유사도 Si의 지정된 비율 R∈[0,1]을 돌파하는 지점 mi에서 간선 추가를 중단한다.
-
이때, 너무 많은 하위 간선의 유입을 방지하기 위해 코사인 유사도 임계치를 설정해야 한다. 이 임계치는 Si=∑k∈VSik에는 적용되지 않고, ∑j=1miSij에만 적용한다.
Si∑p=1miSijpfiltered≥R
Sijfiltered={Sij0if Sij≥θif Sij<θ
R값 역산하기
-
본인은 R값을 선택하기 위해, 평균 차수 K를 구하여 R을 역산하고자 했다. 이를 위해 연구자는 현제 PPMI 네트워크를 설명하는 모델을 찾고자 하였고, 여러 시도 결과 현재 네트워크의 "차수 - 확률 그래프 (Degree Distribution)"가 로그정규분포에 근사할 수 있음을 바탕으로 평균 차수 K를 구하였다.
-
다음은 근사 과정이다. K-S 검정과 CCDF 분포를 통해 유의수준을 측정했으며, 귀무가설: "PPMI 네트워크는 로그정규분포가 아니다"를 기각하는 (즉, 로그정규분포이다) 결과를 얻었다.

| 항목 | 값 |
|---|
| ks_statistic | 0.04513464681932289 |
| p_value | 0.7926029568051501 |
| sigma(shape) | 0.4705548133779804 |
| mu | 3.5182788809624195 |
| scale | 33.72633145112545 |
| decision | Allow (Log - normal is valid) |
| note | 원시 데이터 그대로 사용됨 |
-
이때 얻어진 로그정규분포의 μ=3.5182788809624195, σ=0.4705548133779804이었고, 이를 통해 평균차수 3.5182788809624195개를 얻을 수 있었다.
-
⟨k(R)⟩은 비중 R 값에 비례하여 단조 증가(Monotonically Increasing)하는 형태의 비선형 계단식 함수라는 사실을 바탕으로 R값을 Bisection Method를 통해 역산했다.
-
초기 경계 Rlow=0.01, Rhigh=1.0으로 정의합니다.
-
Rmid=2Rlow+Rhigh, Rmid 값을 입력변수로 넣어 실제 cs-method 단어망 G(Rmid)를 임시 구축
-
구축된 그래프로부터 계산된 실제 평균 차수 ⟨k(Rmid)⟩와 목표치 ⟨k⟩target 사이의 오차를 계산
- Error=⟨k(Rmid)⟩−⟨k⟩target
-
경계 갱신:
- 만약 Error<0 : Rlow←Rmid
- 만약 Error>0 : Rhigh←Rmid
-
오차의 절대값 ∣Error∣가 사전에 지정한 임계치(Tolerance, 예: 0.1)보다 작아지거나, 최대 반복 횟수(Max Iteration)에 도달하면 탐색을 멈추고 최종 갱신된 Rmid를 최적의 R∗로 결정합니다.
| Iter | Candidate R | Calculated | Difference |
|---|
| 1 | 0.50500 | 38.9554 | +1.2807 |
| 2 | 0.25750 | 27.8344 | -9.8403 |
| 3 | 0.38125 | 35.7325 | -1.9423 |
| 4 | 0.44312 | 37.8471 | +0.1724 |
| 5 | 0.41219 | 36.9809 | -0.6938 |
| 6 | 0.42766 | 37.4777 | -0.1970 |
| 7 | 0.43539 | 37.6815 | +0.0068 |
- 최적의 R값: 0.43539 (실제 평균 차수: 37.6815, 오차: 0.0068) 를 도출하였다.
- 이 R값과 오차는 코사인 유사도 임계치에 영향을 받으며, θsim=Q3에서 다음의 결과를 경험적으로 도출할 수 있었다.
CS-method 계산
3-3 각 필터링 방법을 통해 얻어진 그래프
3-3-1 Disparity Filter



| Year | Component_Count | GCC_Size_Ratio |
|---|
| 2020 | 9 | 0.2 |
| 2021 | 5 | 0.2 |
| 2022 | 6 | 0.1666666667 |
| 2023 | 7 | 0.1428571429 |
| 2024 | 2 | 0.5 |
① 대안 B 시계열 지표 및 테이블 해석: "2024년의 거대 기술 대융합 (Standardization)"
- 2020년 ~ 2023년 (독립적 탐색 및 전문화 단계):
- 이 시기에는 독립된 기술 아일랜드(컴포넌트) 개수가 최대 9개(2020년)에서 7개(2023년) 수준으로 높게 유지되었습니다. 반면, 가장 큰 컴포넌트의 크기 비중(GCC Ratio)은 14%∼20% 수준으로 매우 낮았습니다.
- 즉, 이 시기에는 [공정 가공], [동작 제어], [패키징] 등 각 세부 R&D 영역이 서로 통계적으로 결합하지 못하고, 각자 독립된 아일랜드 형태로 파편화되어 연구개발이 독립적으로 진행되었음을 의미합니다.
- 2024년의 특이점 (대융합 국면 전환):
- 하지만 2024년에 이르러 놀라운 수치적 전이가 일어납니다. 컴포넌트의 수가 7개에서 단 2개로 급감했고, 최대 컴포넌트의 비중(GCC)은 14.2%에서 50.0%로 폭발적으로 점프했습니다.
- 이는 파편화되어 각자 흐르던 하부 기술들이 2024년에 이르러 하나의 거대한 '중앙 표준 기술 플랫폼' 안으로 강력하게 흡수·통합되었음을 뜻합니다. 특허 장벽이 마침내 하나의 표준 아키텍처로 수렴했음을 보여주는 전형적인 정량적 패턴입니다.
3-3-2 MST + M-Strongest



| Year | MST_Diameter | Avg_Path_Length |
|---|
| 2020 | 30 | 12.92309051 |
| 2021 | 29 | 12.23900661 |
| 2022 | 22 | 10.34671533 |
| 2023 | 24 | 10.79921351 |
| 2024 | 26 | 12.28781513 |
시계열 지표 및 테이블 해석: "2022년의 중앙 집중화와 이후의 응용 다변화"
- 2020년 ~ 2022년 (효율적 수렴 및 압축):
- 트리의 최장 지름(Diameter)이 30에서 22로 급감하고, 평균 경로 길이(Path Length) 역시 12.9에서 10.3으로 최소화되었습니다.
- 트리 위상학에서 지름과 평균 거리가 짧아졌다는 것은, 네트워크가 옆으로 길게 늘어선 형태가 아니라 특정 강력한 원천 노드를 중심으로 매우 촘촘하게 모여든 '별 모양(Star-like) 구조'로 변했음을 뜻합니다. 2022년은 핵심 기반 특허 선점을 위해 기술적 응집도를 최대로 끌어올렸던 해로 해석할 수 있습니다.
- 2023년 ~ 2024년 (응용/파생 기술의 분화 단계):
- 그 후, 2024년에 지름이 다시 26으로 늘어나고 평균 경로 길이도 12.2로 우상향합니다.
- 이는 2022년의 조밀한 코어 플랫폼 안착 이후, 이를 기반으로 하는 다양한 응용/파생 특허권들이 나뭇가지처럼 옆으로 길게 뻗어 나가기 시작했음(기술 영역의 확장 및 분화 단계 진입)을 증명합니다.
3-3-3 CS-method






아래 ai 해설인데 조금 이상한 부분 있는듯 다시 돌려봐야될듯?
| Year | Edges | Density | Avg_Clustering |
|---|
| 2020 | 508 | 0.0414829332 | 0.472286066 |
| 2021 | 424 | 0.03462355055 | 0.420182598 |
| 2022 | 511 | 0.04172791115 | 0.5321741952 |
| 2023 | 421 | 0.0343785726 | 0.4524758889 |
| 2024 | 426 | 0.03478686918 | 0.4672768285 |
미시적 기술어 트렌드 분석 (꺾은선그래프 해석)
단어들의 중심성(Centrality) 변화 추이는 특허망 내에서 단어가 차지하는 영향력의 성쇠를 보여줍니다.
- 동작 및 전압 제어 기술의 쇠퇴 (
operation, verify, program, voltage):
- 2020년에는
operation(0.135), voltage(0.135), program(0.11) 등 메모리 동작 및 회로 알고리즘 관련 단어들이 최상위 허브를 지배했습니다.
- 그러나 이 단어들은 일부 주기적 스파이크(예: 2023년
voltage 상승)를 제외하면 전반적으로 중심성이 우하향하거나 하락 후 정체하는 양상을 보입니다. 전기적 제어 방식 특허들의 고도화 작업이 점차 안정화 단계에 접어들었음을 가리킵니다.
- 물리적 형상 및 공정 기술의 부상 (
form, oxide, sequence):
- 반면,
oxide (절연/박막 산화막)는 2020년 최하위 수준(0.064)에서 출발하여 매년 예외 없이 일관되게 상승하여 2024년 최상위 중심성(0.115)에 도달했습니다.
- 공정 단계를 다루는
sequence 역시 2020년 최하위에서 출발하여 꾸준히 우상향하고 있습니다.
- 물리적 구조를 대변하는
form은 2020~2021년 평탄한 흐름을 보이다가 2022년에 최정점(0.141)을 찍은 후 급락, 이후 다시 회복하는 다이내믹한 궤적을 보입니다.
[1단계] 2020~2021년: 전기적 제어 및 신뢰성 확보 중심
- 이 시기는 메모리 동작 알고리즘 및 쓰기/읽기/검증 프로토콜(
operation, voltage, program, verify)의 중심성이 매우 높았습니다.
- 적층 수가 올라가는 초기 단계에서 셀을 전기적으로 어떻게 세밀히 제어하고 열화 현상(신뢰성 문제)을 제어할 것인가에 특허 R&D가 강력히 집중되어 있었습니다.
[2단계] 2022년: 물리적 채널 형성과 구조 설계의 대융합 (Architectural Peak)
- 2022년은 전체 네트워크 밀도와 군집화가 피크를 이룬 시기이며, 동시에
form (형상/구조 형성) 단어가 압도적인 중심성 피크를 찍은 시기입니다.
- 초고적층 3D NAND 구조에서 수직 채널 구멍(Hole)을 무너지지 않게 뚫고 게이트 구조를 물리적으로 어떻게 성형(Forming)할 것인가라는 물리적 아키텍처 공정 난제 해결을 위해 기술망 전체가 고밀도로 수렴했음을 보여줍니다.
[3단계] 2023~2024년: 미시적 박막 소재 가공 및 증착 공정 고도화
- 구조적 기틀(
form 단계)이 안착된 2023년 이후부터는 다시 에지와 밀도가 다소 감소하며 기술이 다변화되는 가운데, oxide와 sequence가 독보적인 주도권을 잡습니다.
- 이는 구조 형성을 넘어 채널 내부의 얇은 산화막(Tunnel Oxide, Blocking Oxide 등) 막질의 신뢰성을 극대화하기 위해 원자층 증착(ALD/CVD) 공정 시퀀스(
sequence)와 나노미터 두께의 박막 가공 기술(oxide)에 집중하는 '초미세 공정 가공 세분화 단계'로 진입했음을 뜻합니다.
요약
결론적으로 본 분석 결과는 해당 메모리 기술이 "동작 제어 회로 설계(2020) → 거시적 종횡비 채널 가공 및 구조 성형(2022) → 미시적 산화막 박막 증착 및 원자 수준 공정 제어(2024)"의 경로로 R&D의 질적 진화가 명확한 위상학적 증거를 남기며 진행되었음을 보여주는 우수한 분석 리포트입니다.