Abstract

📌 연구 배경

• 기존 언어 모델의 한계
  • 텍스트 중심 표현에만 집중
  • 셀 레벨 레이아웃 정보 간과
• 문서 폼 이해에 중요한 구조적 정보 필요성

💡 주요 혁신점

1. 새로운 사전학습 접근법

• 셀과 레이아웃 정보 통합적 활용
• 스캔된 문서의 구조적 특성 반영

2. 핵심 설계 특징

1. 셀 단위 의미 처리

   • 각 셀을 하나의 의미 단위로 취급
   • 구조적 정보 보존

2. 셀 위치 분류

   • 공간적 관계 학습
   • 레이아웃 이해 강화

📊 성능 향상

다양한 태스크에서 SOTA 달성

1. 폼 이해

   • 78.95% → 85.14%
   • 6.19%p 향상

2. 문서 VQA

   • 72.59% → 83.94%
   • 11.35%p 향상

3. 문서 이미지 분류

   • 94.43% → 96.08%
   • 1.65%p 향상

Introduction

문서 이해의 현재 과제

1. 스캔된 문서의 복잡성

   • 테이블, 디지털 폼, 영수증, 청구서 등
   • 다양한 구조화된 정보 포함
   • 멀티컬럼 레이아웃과 다양한 표/양식

2. 기존 모델의 한계

   • LayoutLM: 단어 수준 레이아웃만 고려
   • 셀 단위 의미 처리 부재
   • 구조적 관계 이해 부족

💡 StructuralLM의 혁신점

1. 셀 중심 접근

• 셀 단위로 의미 분석
• 동일 셀 내 단어들의 관계 파악
• 셀 레벨 2D 위치 임베딩 활용

2. 이중 위치 정보

• 2D 위치: 셀 레벨 공간 관계
• 1D 위치: 셀 내 토큰 순서
• 구조적 정보 보존

3. 새로운 사전학습 목표

• 셀 위치 분류 task 도입
• 마스크된 시각-언어 모델링
• 셀과 레이아웃 간 상호작용 학습

📊 주요 성과

성능 향상

1. 폼 이해: 85.14% (+6.19%p)
2. 문서 VQA: 83.94% (+11.35%p)
3. 문서 이미지 분류: 96.08% (+1.65%p)

실용적 장점

• 이미지 특징 의존도 낮음
• 실제 문서 이해 태스크에 즉시 적용 가능

Experiments

🔬 사전학습 구성

데이터셋

• IIT-CDIP Test Collection 1.0 활용
  • 600만+ 문서, 1100만+ 스캔 이미지
• Tesseract OCR로 레이아웃 정보 추출
• 좌표값 0-1000 범위로 정규화

모델 구조

• 24층 인코더
• 1024 임베딩/히든 크기
• 4096 피드포워드 필터
• 16 어텐션 헤드
• RoBERTa large 모델로 초기화

📊 주요 실험 결과

1. 폼 이해 (FUNSD)

• F1 스코어: 85.14%
• LayoutLM 대비 6%p 향상
• 셀 레벨 레이아웃 정보의 효과성 입증

2. 문서 VQA

• ANLS 스코어: 83.94%
• LayoutLM 대비 11%p 향상
• 폼&테이블 서브셋에서 14%p 향상

3. 문서 분류 (RVL-CDIP)

• 정확도: 96.08%
• 이전 SOTA 대비 1.5%p 향상
• 텍스트-레이아웃 결합의 효과성 입증

🔍 Ablation Study 결과

주요 컴포넌트 영향

1. 셀 레벨 레이아웃 임베딩
   • 제거 시 F1: 85.14% → 80.24%
2. 셀 위치 분류
   • 제거 시 F1: 85.14% → 81.25%
3. 사전학습
   • 제거 시 F1: 85.14% → 70.72%

Conclusion

📌 핵심 혁신점

1. 구조적 사전학습 접근법

• 대규모 비라벨링 문서 활용
• 트랜스포머 인코더 기반 확장
• 셀과 레이아웃 정보 통합 활용

2. 셀 레벨 처리

• 셀 단위 2D 위치 임베딩 도입
• 동일 셀 내 토큰 간 위치 공유
• 셀 단위 의미 표현 가능

3. 새로운 사전학습 목표

• 셀 위치 분류 태스크 도입
• 셀-레이아웃 간 상호작용 학습
• 구조적 이해 능력 향상

💡 주요 차별점

기존 모델과의 비교

1. 셀 중심 접근

   • 단어 단위가 아닌 셀 단위 처리
   • 의미적 단위 보존

2. 구조적 이해

   • 공간 관계 명시적 학습
   • 문서 구조 파악 강화

📊 실험 검증

• 3개 공개 벤치마크 데이터셋 평가
• 강력한 베이스라인 대비 우수한 성능
• 다양한 downstream 태스크에서 SOTA 달성