Abstract

"기존 STR(Scene Text Recognition) 모델들의 공정한 비교가 어려웠던 이유와 이를 해결하기 위한 통합된 프레임워크를 제시한 논문"

📌 연구 배경

• 최근 많은 STR 모델들이 제안되고 있음
• 각 모델들은 성능 향상을 주장하지만, 일관된 비교가 어려운 상황
• 주된 원인: 학습/평가 데이터셋 선택의 불일치성

🔍 주요 기여점

1. 데이터셋 불일치성 분석

• 학습/평가 데이터셋 간의 차이 조사
• 이로 인한 성능 격차 확인

2. 통합 STR 프레임워크 제안

• 4단계로 구성된 통합 프레임워크 도입
• 기존 STR 모델들을 이 프레임워크에 맞춰 분석 가능
• 새로운 모듈 조합 가능성 탐색

3. 모듈별 성능 분석

• 정확도, 속도, 메모리 사용량 기준으로 평가
• 일관된 데이터셋으로 공정한 비교 진행
• 각 모듈의 실제 성능 기여도 파악

💻 코드 공개

• 연구 결과의 재현성을 위해 코드 공개
• 깃허브 링크

💡 의의

• STR 모델 비교를 위한 표준화된 프레임워크 제시
• 기존 모듈들의 실질적 성능 파악 가능
• 향후 STR 연구 발전을 위한 기반 마련

Introduction

OCR의 한계

• 정제된 문서에서는 성공적으로 작동
• 실제 환경의 다양한 텍스트 인식에는 한계
• 불완전한 촬영 조건으로 인한 성능 저하

기존 연구들의 접근

• 딥러닝 기반의 다단계 파이프라인 제안
• 각 단계별 특정 문제 해결에 초점
• 예시:
  • RNN을 통한 가변 길이 문자 처리
  • 변환 모듈을 통한 곡선 텍스트 정규화

🔍 현재 문제점

평가의 어려움

• 서로 다른 평가/테스트 환경 사용
• 학습/평가 데이터셋의 불일치
• IC13 데이터셋의 경우 15% 이상의 성능 차이 발생

데이터셋 문제

• IC03 데이터셋: 7개 예제 누락
• IC13 데이터셋: 158개 예제 누락
• 일관성 없는 데이터셋 사용으로 인한 비교 어려움

💡 제안하는 해결책

• 공통된 실험 환경 구축
• 정확도, 속도, 메모리 사용량 기준의 평가
• 기존에 간과된 모듈 조합 탐색
• STR 벤치마크 데이터셋의 실패 케이스 분석

Dataset Matters in STR

📊 학습용 합성 데이터셋

1. MJSynth (MJ)

• 890만 개의 단어 박스 이미지 포함
• 생성 과정:
  1. 폰트 렌더링
  2. 테두리와 그림자 렌더링
  3. 배경 색상화
  4. 폰트, 테두리, 배경 합성
  5. 투영 왜곡 적용
  6. 실제 이미지와 블렌딩
  7. 노이즈 추가

2. SynthText (ST)

• 550만 개의 학습 데이터
• 원래 장면 텍스트 감지용으로 설계
• 단어 박스를 잘라내어 STR에도 활용
• 영숫자가 아닌 문자는 필터링

📸 평가용 실제 데이터셋

일반(Regular) 데이터셋

1. IIIT5K-Words (IIIT)

   • 구글 이미지 검색으로 수집
   • 학습용 2,000장, 평가용 3,000장

2. Street View Text (SVT)

   • 구글 스트리트뷰 이미지
   • 학습용 257장, 평가용 647장

3. ICDAR2003 (IC03)

   • 평가용 데이터 버전 불일치 (860장 vs 867장)
   • 7개 이미지 차이로 0.8% 성능 차이 발생

4. ICDAR2013 (IC13)

   • IC03 이미지 대부분 포함
   • 평가용 데이터 버전 불일치 (857장 vs 1,015장)

비정형(Irregular) 데이터셋

1. ICDAR2015 (IC15)
   • 구글 글래스로 촬영
   • 평가용 데이터 버전 불일치 (1,811장 vs 2,077장)
2. SVT Perspective (SP)
   • 645개의 평가용 이미지
   • 비정면 시점으로 인한 투영 왜곡
3. CUTE80 (CT)
   • 288개의 평가용 이미지
   • 곡선 텍스트 이미지 다수 포함

💡 시사점

• 데이터셋 버전 불일치로 인한 공정한 비교 어려움
• 향후 연구에서 사용한 데이터셋 명확히 명시 필요
• 동일한 학습 데이터셋으로 모델 비교 필요

STR Framework Analysis

CNN과 RNN의 결합으로 발전한 STR 프레임워크의 4단계 구조 분석

📚 발전 과정

CRNN의 등장

• CNN과 RNN을 최초로 결합
• CNN으로 특징 추출 후 RNN으로 시퀀스 예측
• 이후 다양한 변형 모델 등장

주요 개선 방향

1. 변환 모듈: 임의의 텍스트 기하학 구조 정규화
2. CNN 특징 추출기: 복잡한 텍스트 이미지 처리 향상
3. RNN 단계: 추론 시간 개선을 위한 선택적 사용
4. 어텐션 디코더: 문자 시퀀스 예측 향상

🔄 4단계 프레임워크

1. 변환 단계 (Transformation)

• STN 활용한 입력 텍스트 이미지 정규화
• TPS 변환으로 다양한 종횡비 처리
• 기하학적 왜곡 보정

2. 특징 추출 단계 (Feature Extraction)

• CNN 기반 시각적 특징 맵 추출
• 주요 아키텍처:
  • VGG
  • RCNN
  • ResNet

3. 시퀀스 모델링 단계 (Sequence Modeling)

• BiLSTM을 통한 문맥 정보 처리
• 선택적 사용으로 복잡도 조절 가능

4. 예측 단계 (Prediction)

• CTC: 가변 길이 시퀀스 예측
• Attention: 문자 수준 언어 모델 학습

Experiment and Analysis

💡 실험 설정

데이터셋 구성

• 학습 데이터: MJSynth(890만) + SynthText(550만) = 총 1440만
• 검증 데이터: IC13, IC15, IIIT, SVT 훈련셋 통합
• 중복 데이터 처리: IC03 훈련셋 제외 (IC13와 215개 중복)

평가 지표

1. 정확도: 9개 실제 데이터셋에서의 단어 예측 성공률
2. 속도: 이미지당 평균 처리 시간(ms)
3. 메모리: 학습 가능한 파라미터 수

📊 학습 데이터셋 분석

데이터셋 조합별 성능

• MJSynth만 사용: 80.0%
• SynthText만 사용: 75.6%
• 두 데이터셋 조합: 84.1%
• 각 20% 조합(290만): 81.3%

주요 발견

• 데이터 다양성이 데이터 양보다 중요할 수 있음
• 서로 다른 특성의 데이터셋 조합이 성능 향상에 효과적

🔄 모듈 조합 분석

정확도-시간 트레이드오프

• T1→T5로 갈수록 복잡도와 성능 증가
• ResNet, BiLSTM, TPS: 적은 시간 증가로 큰 성능 향상
• Attention: 큰 시간 증가에 비해 적은 성능 향상

정확도-메모리 트레이드오프

• RCNN: 적은 메모리로 좋은 성능
• 변환, 시퀀스, 예측 모듈: 경량화에 효과적
• ResNet: 큰 메모리 증가에 비해 적은 성능 향상

🎯 실패 케이스 분석

주요 실패 유형

1. 필기체 폰트
2. 수직 텍스트
3. 특수 문자
4. 심한 가림
5. 낮은 해상도
6. 레이블 노이즈

Conclusion

• STR 모델들의 발전이 있었으나 일관되지 않은 벤치마크로 비교
• 개별 모듈의 실제 성능 향상 기여도 파악 어려움

🎯 주요 기여점

1. 통합 프레임워크 도입

• 기존 STR 방법론들을 포괄하는 공통 프레임워크 제시
• 일관된 실험 환경 구축으로 공정한 비교 가능

2. 표준화된 데이터셋 구성

• 평가용: 7개 벤치마크 데이터셋
• 학습용: MJ와 ST 데이터셋

3. 모듈별 성능 분석

• 정확도, 속도, 메모리 사용량 측면에서 평가
• 각 모듈의 실제 기여도 정량적 분석
• STR의 주요 과제들에 대한 모듈별 영향 분석

💡 연구의 의의

1. 객관적 비교 기준 제시

   • 일관된 실험 환경으로 공정한 성능 비교 가능
   • 향후 STR 연구의 벤치마크 역할

2. 실용적 가이드라인 제공

   • 각 모듈의 장단점 명확화
   • 실제 적용 시 trade-off 고려 가능

3. 향후 연구 방향 제시

   • 현재 STR 모델들의 한계점 분석
   • 남은 과제들에 대한 명확한 파악