엔티티 정규화 (ER) :
개체의 이름이 달라도 실제로 같은 개체인지 판별해서 하나로 통합하는 과정
ER을 위한 절차
(1) 중복 개체의 후보를 추출 (블로킹)
- 문자 자체의 유사도, 임베딩 기반으로 의미 유사도, 노드 연결 유사도 (자카드)
(2) 개체간의 실제 동일한지 판정 (매칭) - LLM을 활용해서 모든 후보 쌍간의 판정
(3) 실제 동일한 것을 통합 (머지) - 동일한 그룹은 동일한 Standard ID를 부여
- 적재할 때 Standard ID 기준으로 바로 중복 없이 적재 (MERGE)
- 중복이 있는 상태로 적재가 된 노드를 통합할 때 (APOC, mergeNodes)
ER 품질 평가
- 특정 문서에 대한 골드쌍 —> LLM 혹은 사람이 추출해서 빠짐없이 모든 쌍을 얻는다
- 정밀도, 재현율, F1
- 어떤 게 가장 중요한 지표? -> 정밀도가 중요하다
정밀도: 과병합(오병합), 재현율: 미병합
오병합수: FP —> 0건이 되는게 ER에서 목표
