A Relation-specific Entropy-based Ensemble Approach for Knowledge Graph Embedding 논문 정리
논문 정리
- 논문 이름 및 소개 : A Relation-specific Entropy-based Ensemble Approach for Knowledge Graph Embedding
저자 : HWAWOO JEON, YOONSEOB LIM, YONG SUK CHOI
출처 : IEEE Access, Vol. 11, 2024(한양대학교 인공지능연구실), 논문
소개 : 본 논문에서는 지식 그래프 임베딩 (Knowledge Graph지식 그래프는 개체와 관계를 통해 지식을 표현하는 구조로, 사실의 세부 정보를 연결하여 다양한 정보 간의 관계를 시각적으로 나타낸다. 이는 인공지능 시스템에서 복잡한 문제를 해결하기 위한 중요한 요소로 사용된다. Embedding, KGE) 성능 향상을 위한 새로운 앙상블 방법인 ERSE (Ensemble based on Relation-Specific Entropy)를 제안합니다. ERSE는 관계 특정 엔트로피를 활용하여 다양한 KGE 모델의 강점을 결합, 링크 예측 정확도를 향상시키는 것을 목표로 합니다.
- 단어 및 개념 정리
-
앙상블 학습 : 여러 개의 모델을 결합하여 하나의 더 강력한 모델을 만드는 방법
-
지식 그래프 임베딩 : 개체와 관계를 저차원 벡터 공간에 표현하는 기술
-
링크 예측 : 지식 그래프에서 누락된 연결 고리를 예측하는 문제
-
ERSE(Ensemble based on Relation-Specific Entropy): 본 논문에서 제안하는 새로운 앙상블 방법으로, 관계 특정적 엔트로피에 기반해 앙상블 가중치를 부여하여 성능을 높이는 방법
-
TransE, TransH, TransR, TransD는 지식 그래프 임베딩을 위한 대표적인 변환 기반 모델임
-
FB15K, FB15k237 : 지식 그래프 임베딩 모델의 성능을 평가하기 위해 사용되는 데이터 셋
-
트리플(head entity, relation, tail entity) : 지식 그래프에서 개체, 관계로 구성된 트리플들의 집합
-
Scoring Function : 지식그래프에서 트리플의 타당성을 평가하는 함수
-
예측 벡터 : 지식 그래프 임베딩 모델이 트리플의 head entity와 relation을 사용해 tail entity를 예측하는데 이 과정에서 생성되는 벡터를 의미
-
가중 투표(weighted voting) : 앙상블 방법의 한 종류로, 여러 모델의 예측을 결합할 때 각 모델의 예측에 서로 다른 가중치를 부여하는 방식
-
배깅(Bagging) : 복잡한 모델에서 과적합을 줄이는 효과적인 앙상블 기법으로 각 모델을 병렬적으로 학습시켜 분산을 크게 줄임, 다양한 데이터 샘플링을 통해 여러 모델을 학습시키고, 이들의 결과를 평균내거나 다수결 투표로 최종 예측을 수행
-
Random Forest : 배깅의 한 종류로 의사 결정 트리들을 앙상블하여 사용하는 방법, 각 트리는 무작위로 선택된 특징을 부분 집합으로 사용해 학습하고 이러한 무작위성은 모델의 다양성을 증가시켜 과적합을 줄이고, 일반화 성능을 향상시킴
-
Adaboost : 배깅 방법 중 하나로 이전 모델의 결과를 바탕으로 훈련 데이터의 분포를 반복적으로 조정하여 학습기 성능을 향상시키는 방법, 잘못 분류된 데이터에는 더 높은 가중치를 부여하여, 다음 모델이 이러한 오류를 수정하도록 함
-
조합 전략(Combinatorial Strategies) : 학습기들을 독립적으로 훈련시킨 후, 이들의 결과를 평균, 투표 또는 추가적인 학습기를 통해 결합하는 방법으로 다양한 모델들의 장점을 활용하여 예측 성능을 극대화하는 데 목적을 둠
- 모델 설명
TransE
-
변환 거리 기반 임베딩 모델의 선구자로, 관계를 임베딩 공간의 변환으로 해석
-
엔티티와 관계는 h, r, t 벡터로 매핑되고, 원칙 h + r ≈ t를 따름
-
점수 함수는 간단하면서도 효율적이지만, 1 : 1 관계 모델링에 주로 효과적이고 1 : N, N : N에는 관계 처리에서 한계가 존재
TransH
-
TransE의 한계를 극복하기 위해, 정규 벡터 wr과 변환 벡터 dr을 가진 관계 특이 초평면을 도입
-
특정 초평면에서 변환 작업으로 관계를 해석하며, 정규 벡터 wr과 변환 벡터 dr로 결정됨
-
h와 t를 이 초평면에 투영하여 h⊥와 t⊥를 형성하고, h⊥ + dr ≈ t⊥라는 작업을 수행
TransR
-
엔티티와 관계가 근복적으로 다르기 때문에 별도의 벡터 공간에서 표현해야 한다는 제안
-
매핑 행렬 Mr을 할당하여 엔티티와 관계 임베딩을 구분
-
관계의 복잡성에 따라 과적합, 과소적합 초래 가능
TransD
-
TransR에서 관찰된 단순 관계의 과적합과 복잡한 관계의 과소적합을 해결하는 방안을 제공
-
투영 행렬 대신 2개의 투영 벡터의 곱을 채택
의미 일치 모델
- 유사성 기반 점수 함수를 활용해 엔티티와 관계의 잠재적인 의미를 포착
RotatE
-
대칭, 반대칭, 역, 합성 4가지 대칭 패텅으로 관계를 모델링하기 위해 도입
-
각 관계를 복소수 벡터 공간의 회전 매핑으로 개념화
변환 기반 KGE 모델
- ||Rh + r - Rt|| 점수 패턴을 나타내며 Rh와 Rt는 각각 h와 t의 변형
또한 복소수 공간을 표현 공간으로 사용하는 몇몇 의미 일치 모델은 유사성 기반 점수 함수인 ||Rh o r - Rt||를 따름
요소별 곱 o의 차이 외에도 이 점수 패턴은 변환 기반 모델의 점수 패턴과 유사함
이 논문에서는 이러한 KGE 모델을 거리 기반 모델로 지칭함
각각의 모델에 점수 패턴은 벡터 추가 및 요소별 곱을 사용하여 각각의 KGE 모델이 고유한 표현 공간에서 예측 벡터를 쉽게 계산하도록 돕는다는 점에서 융통성을 가진다.
여기서 여러 KGE 모델의 강점을 활용하는 방법을 탐색해 앙상블 접근 방식을 수용하는 것이 중요한 해결책임.
Krompaß and Tresp :
- KGE 모델에 앙상블 방법을 처음으로 적용
단일 모델을 사용하는 것보다 예측 성능이 향상됨
Xu et al. :
- KGE 모델들을 낮은 차원에서 병렬적으로 학습시키고, 그 결과를 합치는 것이 높은 차원에서 하나의 모델을 학습시키는 것보다 더 좋은 결과를 가져온다는 것을 발견
이는 낮은 차원에서 학습된 여러 모델이 서로 다른 관점을 제공하여, 더 풍부한 정보를 담을 수 있음을 의미
Wang et al. :
- 임베딩 모델의 점수를 확률적 가중치를 사용하여 결합하는 방법을 제시
최적의 앙상블 모델 파라미터를 계산하고 링크 예측률을 예측할 수 있는 이론적 프레임워크를 제공
- ERSE의 링크 예측 과정 정리
(잘못된 부분이 있다면 언제든 말해주세요!)
- ERSE는 지식 그래프 임베딩 모델들의 앙상블을 통해 지식 그래프에서 누락된 링크를 예측하는 데 사용된다.
- 예측하고자 하는 트리플을 입력한다.
- 미리 학습된 KGE 모델 M1 ~ MN을 사용해 입력 트리플에 대한 예측 점수 s'를 생성한다.(각 모델은 트리플의 진실성을 평가하는 고유한 점수를 출력함)
- 관계 특정 엔트로피를 측정하기 위해 훈련 데이터에서 특정 관계 r을 포함하는 트리플 ^T를 선택하고, 각 모델 Mi에 대해 잘 훈련된 예측 벡터 P를 수집한다.
- 수집된 예측 벡터 P를 사용해서 관계 특정 엔트로피인 E를 계산한다.(관계 특정 엔트로피는 각 모델의 예측의 불확실성을 나타내며, 이는 모델의 신뢰도를 평가하는 데 활용된다)
- 앙상블 예측 단계에서는 이전 단계에서 얻은 예측 점수와 관계 특정 엔트로피를 사용하여 최종 예측 점수를 계산하도록 한다.
- 실험 결과
TransE, TransH, TransR, TransD 모델을 기반 모델로 사용해 FB15K 및 FB15K237 데이터 세트에서 실험을 진행
ERSE는 단일 모델 및 기존 앙상블 접근 방식 모두를 능가하는 예측 정확도를 보였고 특히 N-to-1 및 1-to-N 관계 예측에서 ERSE가 기존 모델보다 뛰어난 성능을 보였음
- 결론 및 향후 연구 방향
ERSE 방법은 KGE 모델을 결합하는 효과적인 방법임을 입증했다.
향후 연구에서는 다양한 KGE 모델 (semantic matching models 등)을 포함, ERSE 방법의 적용 범위를 확장할 예정이며, 특정 관계 유형에 맞는 전문화된 평가 지표를 탐색하고, 지식 그래프 외 다른 머신러닝 task (분류, 회귀)로 확장할 계획이다.
- 요약
ERSE는 관계 특정 엔트로피를 활용하여 KGE 모델의 앙상블 성능을 향상시키는 새로운 접근 방식입니다.
실험 결과는 ERSE가 기존 방법보다 우수한 예측 정확도를 제공함을 보여주며, 향후 다양한 KGE 모델 및 task에 적용될 가능성을 제시합니다.
이 연구는 정보 이론에 기반, 불확실성을 측정하는 데 사용되는 엔트로피 개념을 활용하여 모델의 신뢰도를 평가하고, 앙상블 가중치를 조절함으로써 전체 성능을 향상시킵니다.
해당 내용은 단순 공부를 위해 논문을 읽고 제가 이해한 방식대로 작성한 요약 내용입니다!
언제든 잘못된 내용이나 틀린 내용이 있다면 댓글로 알려주시면 감사하겠습니다.
