LoMo: Local Modality Substitution for Deeper Vision-Language Fusion

서민성·2026년 5월 30일

LoMo: 더 깊은 비전-언어 융합을 위한 로컬 모달리티 대체

논문 제목: LoMo: Local Modality Substitution for Deeper Vision-Language Fusion
저자: Feng Han, Zhixiong Zhang, Zheming Liang, Yibin Wang, Jiaqi Wang
arXiv: 2605.30265 | HuggingFace: 논문 링크
발표일: 2025년 5월 28일 | HF 피처일: 2025년 5월 30일 | 업보트: 17

💡 한 줄 요약

텍스트 일부를 렌더링된 이미지로 대체하는 데이터 증강 기법(LoMo)으로, VLM이 텍스트와 이미지 간 의미적 동등성을 학습하게 하여 멀티모달 추론 능력을 향상시킨다.

📄 Abstract (초록 번역)

비전-언어 모델(Vision-Language Models, VLMs)은 대규모 이미지-텍스트 학습을 통한 멀티모달 융합(multimodal fusion)에 힘입어, 다양한 이해 및 추론 과제에서 상당한 발전을 이루었습니다.

이상적으로는, 텍스트 질문을 동일한 내용을 렌더링한 이미지로 대체하더라도 모델 성능에 거의 영향을 미치지 않아야 합니다. 그러나 실제로는 이러한 모달리티 대체(modality substitution)가 심각한 성능 저하를 초래합니다.

저자들은 이 "캐리어 민감성(carrier sensitivity)" 문제를 현재 학습 데이터의 내재된 편향(bias)에서 비롯된 것으로 봅니다. 이미지 캡셔닝, VQA, OCR, 웹 수집 인터리브 데이터 등 주요 데이터셋에서 텍스트와 이미지는 비대칭적인 역할로 구성됩니다 — 텍스트는 언어적 질의(linguistic query)로, 이미지는 시각적 참조(visual reference)로 사용됩니다.

이러한 데이터 편향으로 인해 VLMs는 서로 다른 모달리티에서 정보를 획득하는 방식에 뚜렷한 선호도를 보이게 됩니다. 결과적으로, VLMs는 텍스트와 시각적 캐리어에 걸친 의미적으로 동등한 콘텐츠의 표현을 정렬하는 데 실패하며, 모달리티 대체 시 모델 추론이 불안정해집니다.

이 문제를 해결하기 위해 저자들은 LoMo(Local Modality Substitution, 로컬 모달리티 대체)를 제안합니다. LoMo는 의미적으로 동등한 텍스트와 이미지 캐리어 사이의 교차 모달 표현 불변성(cross-modal representational invariance)을 위한 감독 신호를 제공하는, 경량의 아키텍처 무관 데이터 큐레이션(data curation) 패러다임입니다.

LoMo는 단일 모달리티 프롬프트를 자연스럽게 인터리브된(interleaved) 멀티모달 시퀀스로 재구성합니다. 목표 텍스트 구간을 동적으로 선택하여 렌더링된 이미지로 변환함으로써, "텍스트 → 시각 → 텍스트" 캐리어 전반에 걸쳐 동일한 의미를 보존합니다.

13개의 다양한 멀티모달 벤치마크에 걸친 광범위한 실험을 통해 LoMo가 전반적인 멀티모달 추론을 크게 향상시키고 더 깊은 교차 모달 융합을 이끌어냄을 보입니다. 특히 기반 모델에서 일관된 향상을 보여, LLaVA-OneVision-1.5-8B에서 표준 SFT(Supervised Fine-Tuning) 대비 2.67점, Qwen3.5-9B에서 2.82점 향상을 달성했습니다.

1. Introduction (서론)

🔍 배경: VLM의 발전과 새로운 문제

비전-언어 모델(VLMs)은 시각적 질문 답변(Visual Question Answering, VQA), 이미지 캡셔닝(image captioning), 문서 이해(document understanding), 시각적 그라운딩(visual grounding) 등 다양한 시각-언어 이해 과제에서 강력한 일반화 능력을 보여주었습니다. LLaVA, InternVL, Qwen3-VL 등 최신 오픈소스 VLMs는 풍부한 이미지-텍스트 코퍼스와 대규모 멀티모달 학습을 통해 뛰어난 성능을 달성했습니다.

⚠️ 핵심 문제: 캐리어 민감성(Carrier Sensitivity)

그런데 여기서 흥미로운 의문이 생깁니다: "텍스트 질문을 똑같은 내용의 이미지로 바꾸면 어떻게 될까요?"

직관적으로는, 모델이 멀티모달 이해 능력을 갖추고 있다면 "같은 내용 = 같은 성능"이어야 합니다. 하지만 현실은 그렇지 않습니다. 논문의 실험에 따르면:

텍스트 질문을 렌더링된 이미지로 대체하면 일관적이고 유의미한 성능 저하가 발생
이는 여러 벤치마크에 걸쳐 공통적으로 관찰되는 현상

이를 저자들은 "캐리어 민감성(carrier sensitivity)" 문제라고 명명합니다. VLM이 이미지와 텍스트를 함께 처리하더라도, 실제 추론은 의미 내용이 어떤 모달리티 캐리어를 통해 전달되는지에 크게 의존한다는 것입니다.

🔬 원인 분석: 표현 거리와 성능 저하의 관계

저자들은 이 문제의 원인을 추적하기 위해, 텍스트 입력과 그에 대응하는 렌더링된 이미지의 숨겨진 상태(hidden states)를 추출하여 쌍별 코사인 거리(pairwise cosine distance)를 측정했습니다.

이 거리에 따라 샘플을 그룹화한 결과, 엄격한 단조 증가 트렌드가 발견되었습니다:

그룹 (코사인 거리)	평균 정확도 하락
가장 가까운 그룹	7.75%
가장 먼 그룹	21.23%

즉, 텍스트 표현과 이미지 표현 사이의 거리가 클수록, 모달리티 대체 시 성능 저하도 더 크게 나타납니다. 이는 교차 캐리어 모달리티 갭(cross-carrier modality gap)이 성능 저하의 근본 원인임을 보여줍니다.

📊 데이터 편향이 근본 원인

저자들은 이 갭의 근원을 현재 멀티모달 학습 데이터의 구조적 편향에서 찾습니다:

이미지 캡셔닝: 이미지(시각 참조) → 텍스트(언어 설명)
VQA: 텍스트 질문 + 이미지 → 텍스트 답변
OCR: 이미지 속 텍스트 → 텍스트 추출
웹 수집 인터리브 데이터: 텍스트(맥락) + 이미지(시각 보조)

모든 주류 데이터셋에서 텍스트는 언어적 질의/지시의 역할, 이미지는 시각적 참조의 역할로 비대칭적으로 구성됩니다. 이로 인해 VLMs는 서로 다른 모달리티에 대해 서로 다른 방식으로 정보를 처리하도록 편향되며, 의미적으로 동등한 콘텐츠라도 모달리티에 따라 매우 다른 내부 표현을 생성합니다.

🏗️ 비전-언어 모델(Vision-Language Models)

VLMs는 사전 학습된 비전 인코더(vision encoder)를 LLM 백본과 정렬함으로써 LLMs를 시각-텍스트 공동 처리로 확장합니다.

아키텍처 관점:

LLaVA (Liu et al., 2023, 2024): ViT–MLP–LLM의 간단한 템플릿 확립
InternVL (Chen et al., 2024): 이를 더 크게 확장
비전 인코더/커넥터 탐구 (Tong et al., 2024): 체계적인 구성 요소 최적화

학습 전략 관점:

LLaVA-OneVision-1.5: SFT 코퍼스 재구성
Mantis: 멀티 이미지 인스트럭션의 인터리브 형식 개선
Insight-V: 장기 체인 시각적 추론(long-chain visual reasoning) 데이터 도입
Qwen3-VL, InternVL3.5, GLM-4.1V-Thinking: 더 큰 백본과 강화학습(Reinforcement Learning) 활용

핵심 공통점: 이 모든 접근법은 텍스트를 지시/질의로, 이미지를 시각적 장면으로 처리하는 모달리티별 비대칭 역할을 유지합니다.

🔤 픽셀로서의 텍스트 모델링(Text-as-Pixels Modeling)

LoMo와 가장 관련 깊은 연구 흐름으로, 텍스트를 이산 토큰(discrete token)이 아닌 픽셀 형태로 모델링하는 방향입니다:

Pix2Struct (Lee et al., 2023): OCR-free 문서 이해를 위한 스크린샷 사전 학습
Latent Compression Learning (Yang et al., 2024): 압축 목적으로 웹 스케일 이미지-텍스트 문서에서 직접 비전 인코더 학습
Glyph (Cheng et al., 2025): 긴 문서를 컴팩트한 이미지로 렌더링하여 VLM의 효과적인 컨텍스트 윈도우 확장
DeepSeek-OCR (Wei et al., 2025): "광학 압축 컨텍스트(contexts optical compression)"로 10배 압축에서 고정밀 디코딩

LoMo의 차별점: 기존 연구들이 텍스트-as-픽셀을 별도의 모달리티 처리 방식으로 활용했다면, LoMo는 이를 교차 모달 표현 정렬을 위한 학습 신호로 활용합니다.

3. Method: LoMo (방법론)

3.1 개요와 수식화

🎯 핵심 아이디어

LoMo는 세 가지 연속적인 단계를 통해 선택된 텍스트 구간을 시각적 캐리어로 동적으로 재구성합니다:

원본 텍스트 입력
      ↓
[1단계] 구조 인식 구간 위치 지정 (Structure-Aware Span Localization)
      ↓
[2단계] 시각적 렌더링 (Visual Rendering)
      ↓
[3단계] 지각적 왜곡 (Perceptual Distortion)
      ↓
"텍스트 → 시각 → 텍스트" 인터리브 인스턴스

📐 수식화

원본 텍스트 전용 인스턴스 $(x, a)$ 를 생각해봅시다:

$x$ : 질문(question)
$a$ : 정답(ground-truth answer)

LoMo는 세 가지 연속 연산자로 $x$ 를 변환합니다:

$\mathcal{S}(\cdot)$ : 구조 인식 구간 위치 지정
$\mathcal{R}(\cdot)$ : 시각적 렌더링
$\mathcal{A}(\cdot)$ : 지각적 왜곡

최종 변환 결과는 "텍스트 → 시각 → 텍스트" 골격을 형성합니다. 모델은 주변 텍스트 맥락과 내재된 시각적 캐리어를 함께 이해하여 완전한 의미를 복원하고 정답 $a$ 를 예측해야 합니다.

핵심 장점: 이 방식은 아키텍처 무관(architecture-agnostic)하며, 어떤 멀티모달 학습 파이프라인과도 호환됩니다. 추가적인 아키텍처 변경, 추가 어노테이션, 추론 오버헤드가 필요하지 않습니다.

3.2 LoMo 구현의 세 단계

단계 1: 구조 인식 구간 위치 지정 (Structure-Aware Span Localization)

입력 텍스트를 세 부분으로 분할합니다:

앞 부분 (prefix): 맥락을 제공하는 텍스트
중간 구간 (target span): 이미지로 변환될 목표 텍스트 ← 핵심!
뒷 부분 (suffix): 이어지는 텍스트

"구조 인식"이라는 표현이 중요한데, 이는 단순히 임의로 자르는 것이 아니라 의미적으로 자연스러운 경계를 찾아 구간을 선택함을 의미합니다. 예를 들어 문장 단위나 의미 단위로 구간을 식별합니다.

단계 2: 시각적 렌더링 (Visual Rendering)

선택된 텍스트 구간을 이미지로 변환하는 단계입니다. 단순한 텍스트-투-이미지 변환이 아니라 콘텐츠 인식 렌더링 파이프라인(content-aware rendering pipeline)을 사용합니다:

텍스트의 특성(길이, 언어, 내용 유형)에 맞는 렌더링 방식 선택
자연스러운 폰트, 레이아웃, 배경 설정
실제 문서/화면에서 볼 수 있는 형태와 유사하게 생성

단계 3: 지각적 왜곡 (Perceptual Distortion)

이 단계가 LoMo의 핵심적인 혁신 중 하나입니다. 렌더링된 이미지에 의미를 보존하는 열화(semantics-preserving degradation)를 적용합니다:

목적: 모델이 완벽한 이미지뿐 아니라, 다양한 시각적 품질의 텍스트 이미지도 올바르게 처리하도록 학습
방법: 블러(blur), 노이즈(noise), 압축 아티팩트(compression artifacts) 등 현실적인 열화 적용
핵심: 시각적 외관은 달라지더라도 의미는 동일하게 유지

이렇게 처리된 이미지가 원래 텍스트 구간의 위치에 삽입되어, 최종적인 텍스트-이미지 인터리브 인스턴스가 생성됩니다.

왜 이 방법이 효과적인가?

기존 학습 데이터:
[텍스트 질의] + [이미지 장면] → [텍스트 답변]
         ↑                ↑
    "언어 모달리티"     "시각 모달리티"
    (역할 고정)         (역할 고정)

LoMo 데이터:
[텍스트 맥락] + [이미지화된 텍스트] + [텍스트 맥락] → [텍스트 답변]
         ↑              ↑
    "언어 모달리티"  "시각 캐리어로 표현된
                    언어적 내용"
                (역할 혼합 → 정렬 강제)

LoMo는 모델이 "이 이미지는 텍스트의 시각적 표현"임을 이해하도록 암묵적 교차 모달 정렬 감독 신호(implicit cross-modal alignment supervision)를 제공합니다. 명시적인 대조 학습(contrastive learning) 없이도, 자연스러운 다음 토큰 예측 학습 목표만으로 이 정렬이 달성됩니다.

4. Experiments (실험)

실험 설정

저자들은 두 가지 기반 모델에 LoMo를 적용하여 표준 SFT와 비교합니다:

LLaVA-OneVision-1.5-8B: LLaVA 계열의 최신 8B 파라미터 모델
Qwen3.5-9B: Qwen 계열의 9B 파라미터 모델

평가 범위: 13개의 다양한 멀티모달 벤치마크

주요 결과

전체 성능 향상

모델	표준 SFT	LoMo 적용	향상
LLaVA-OneVision-1.5-8B	기준	+2.67점	✅
Qwen3.5-9B	기준	+2.82점	✅

두 모델 모두에서 일관된 향상이 달성되었으며, 이는 LoMo가 특정 모델 아키텍처에 의존하지 않음을 보여줍니다.

캐리어 민감성 개선

LoMo 학습 후 모달리티 대체(텍스트 → 이미지 렌더링) 시나리오에서:

기존 VLMs: 7.75% ~ 21.23%의 심각한 성능 저하
LoMo 적용 후: 성능 저하 폭이 유의미하게 감소

이는 LoMo가 텍스트와 이미지 캐리어 간의 표현 갭을 효과적으로 줄인다는 것을 의미합니다.

벤치마크별 성능

13개 벤치마크는 다음과 같은 다양한 능력을 평가합니다:

멀티모달 추론: 복잡한 시각-언어 추론
문서 이해: 문서 내 텍스트 인식 및 이해
OCR 관련 과제: 시각적으로 표현된 텍스트 처리
일반 VQA: 시각적 질문 답변
교차 모달 일관성: 동일 내용의 다른 모달리티 표현에 대한 일관성

중요: LoMo는 특정 유형의 과제에서만 향상되는 것이 아니라, 전반적인 멀티모달 추론 능력에서 일관된 향상을 보입니다.

경량성 및 실용성

LoMo의 실용적 가치:

추가 파라미터 없음: 모델 아키텍처 변경 불필요
추가 어노테이션 없음: 기존 텍스트 데이터를 자동으로 변환
추론 오버헤드 없음: 추론 시 추가 계산 없음
아키텍처 무관: 어떤 VLM에도 적용 가능

▲ LoMo: 텍스트 구간을 이미지로 대체하는 데이터 큐레이션 패러다임. (a) 모달리티 대체 시 성능 저하 현상, (b) 교차 캐리어 표현 거리와 성능 저하의 단조 관계

5. Conclusion (결론)

핵심 기여 정리

문제 발견: VLMs의 캐리어 민감성(carrier sensitivity) 문제를 체계적으로 규명하고, 이것이 학습 데이터의 구조적 편향에서 기인함을 밝혔습니다.
원인 분석: 교차 캐리어 모달리티 갭이 성능 저하와 직접적으로 연관됨을 실험적으로 입증했습니다.
LoMo 제안: 경량의 데이터 큐레이션 패러다임으로, 추가 비용 없이 교차 모달 표현 불변성 학습을 가능하게 합니다.
광범위한 검증: 13개 벤치마크, 2개 기반 모델에서 일관된 향상을 달성했습니다.

한계 및 향후 연구

논문에서 명시적으로 언급하지는 않았지만, 몇 가지 고려할 점이 있습니다:

렌더링 품질 의존성: 시각적 렌더링 파이프라인의 품질이 결과에 영향을 미칠 수 있습니다.
언어 다양성: 다양한 언어(특히 비라틴 문자 기반 언어)에서의 렌더링 품질 차이가 있을 수 있습니다.
데이터 비율 최적화: LoMo 데이터와 일반 SFT 데이터의 최적 혼합 비율 탐구가 필요합니다.

🧠 개인 소감

이 논문은 매우 흥미로운 관찰에서 출발한 연구입니다. "텍스트를 이미지로 바꾸면 성능이 떨어진다"는 단순한 현상에서, 코사인 거리와 성능 저하의 단조 관계를 통해 데이터 편향이 근본 원인임을 설득력 있게 논증합니다. 특히 기존 VLM 연구들이 아키텍처나 데이터 규모에 집중해온 것과 달리, 데이터의 구조적 역할 분배라는 새로운 관점에서 문제를 접근했다는 점이 인상적입니다.

해결 방법인 LoMo 자체도 매우 우아합니다. 별도의 대조 학습 손실이나 정렬 목적 함수 없이, 단순히 데이터 증강 방식을 바꾸는 것만으로 교차 모달 표현 정렬을 달성한다는 아이디어는 실용성 면에서 탁월합니다. 이는 기존에 복잡한 목적 함수로 접근했던 멀티모달 정렬 문제에 대한 새로운 시각을 제시합니다. "어떻게 학습시키느냐"보다 "무엇을 학습 데이터로 줄 것이냐"가 더 근본적일 수 있다는 점을 다시 한 번 상기시켜 줍니다.

실용적 관점에서도 주목할 만합니다. LoMo는 추가 파라미터, 추가 어노테이션, 추론 오버헤드 없이 2.67~2.82점의 일관된 향상을 가져옵니다. VLM 학습 파이프라인에 쉽게 통합할 수 있다는 점에서, 향후 다양한 VLM 학습에 폭넓게 채택될 가능성이 있습니다. 특히 문서 이해, 스크린샷 기반 에이전트, 다국어 OCR 등 텍스트-이미지 경계가 중요한 응용 분야에서 큰 가치를 발휘할 것으로 기대됩니다.

🏷️ 태그

#VLM #비전언어모델 #멀티모달 #LoMo #데이터증강 #교차모달정렬 #캐리어민감성 #LLaVA #Qwen #SFT #멀티모달학습 #OCR #텍스트렌더링 #표현학습 #모달리티갭 `#ArX# 태그 (이어서)

#VLM #비전언어모델 #멀티모달 #LoMo #데이터증강 #교차모달정렬 #캐리어민감성 #LLaVA #Qwen #SFT #멀티모달학습 #OCR #텍스트렌더링 #표현학습 #모달리티갭 #ArXiv2025 #딥러닝 #컴퓨터비전 #자연어처리 #데이터큐레이션 #CrossModalFusion #RepresentationLearning #VisualLanguageModel #MultimodalAI

📚 보충 설명: 논문의 핵심 개념 정리

독자 여러분이 논문을 더 깊이 이해할 수 있도록, 핵심 개념들을 추가로 정리합니다.

🔑 핵심 개념 1: 캐리어 민감성(Carrier Sensitivity)이란?

쉽게 설명하자면, 다음과 같은 시나리오를 생각해보세요:

시나리오 A (텍스트 캐리어):
질문: "사과의 색깔은 무엇인가요?" (텍스트로 입력)
VLM 답변: "빨간색입니다." ✅

시나리오 B (이미지 캐리어):
질문: [사과의 색깔은 무엇인가요?] (이미지로 렌더링하여 입력)
VLM 답변: "잘 모르겠습니다." ❌ (또는 틀린 답변)

두 질문의 의미는 완전히 동일합니다. 단지 전달 수단(캐리어)만 다를 뿐입니다. 그런데 현재 VLMs는 캐리어가 달라지면 성능이 크게 떨어집니다. 이것이 캐리어 민감성 문제입니다.

🔑 핵심 개념 2: 왜 데이터 편향이 문제인가?

현재 VLM 학습 데이터의 구조를 도식화하면 다음과 같습니다:

📊 일반적인 VLM 학습 데이터 구조:

이미지 캡셔닝:
  입력: [고양이 사진] 🐱
  출력: "고양이가 소파 위에 앉아 있습니다." (텍스트)

VQA:
  입력: "이 사진에서 무엇을 볼 수 있나요?" (텍스트) + [풍경 사진] 🌄
  출력: "산과 강이 보입니다." (텍스트)

OCR:
  입력: [텍스트가 포함된 문서 이미지] 📄
  출력: "안녕하세요, 반갑습니다." (텍스트)

⚠️ 공통 패턴: 텍스트 = 언어적 역할 / 이미지 = 시각적 참조 역할

이 패턴이 반복되면, 모델은 자연스럽게 다음과 같이 학습됩니다:

"텍스트가 오면 → 언어적으로 처리하자"
"이미지가 오면 → 시각적으로 처리하자"

결과적으로, 텍스트처럼 생긴 이미지(즉, 렌더링된 텍스트)가 오면 모델은 혼란스러워집니다. "이건 이미지인데... 근데 텍스트처럼 생겼네? 어떻게 처리하지?"라는 상황이 발생하는 것입니다.

🔑 핵심 개념 3: LoMo가 이 문제를 어떻게 해결하나?

LoMo의 훈련 데이터 예시를 들어 설명해보겠습니다:

원본 텍스트 데이터:
"다음 문장을 읽고 주인공의 감정을 답하세요: 
철수는 오랫동안 기다리던 합격 통지를 받았다. 
주인공의 감정은 무엇인가요?"

LoMo 변환 후:
"다음 문장을 읽고 주인공의 감정을 답하세요: 
[🖼️ '철수는 오랫동안 기다리던 합격 통지를 받았다.' 이미지] 
주인공의 감정은 무엇인가요?"

이제 모델은 이 데이터로 학습하면서:

이미지 속에서 텍스트를 읽어야 합니다 (OCR 능력)
그 텍스트를 앞뒤 문맥과 통합해야 합니다 (언어 이해 능력)
이미지 캐리어와 텍스트 캐리어가 동일한 의미를 가진다는 것을 학습합니다 (교차 모달 정렬)

이 과정이 반복되면, 모델은 자연스럽게 "텍스트 표현"과 "이미지 표현"이 같은 내용을 담을 수 있다는 것을 내면화하게 됩니다.

🔑 핵심 개념 4: 지각적 왜곡(Perceptual Distortion)의 중요성

왜 굳이 렌더링된 이미지에 노이즈나 왜곡을 추가할까요?

왜곡 없는 경우:
렌더링 이미지 → 항상 완벽하고 깔끔한 이미지
→ 모델이 "완벽한 이미지 = 텍스트"로 과적합될 위험

왜곡 있는 경우:
렌더링 이미지 → 다양한 품질의 이미지
→ 모델이 "다양한 시각적 품질 = 동일한 텍스트 의미"를 학습
→ 더 강건한(robust) 교차 모달 표현 학습

실제 세계에서 텍스트가 포함된 이미지는 다양한 형태로 존재합니다:

스마트폰으로 찍은 흐릿한 문서 사진 📱
낮은 해상도의 스캔 문서 🖨️
화면 캡처에서 압축된 이미지 🖥️
조명이 좋지 않은 환경의 간판 사진 🚪

지각적 왜곡은 이러한 현실적인 다양성을 학습 데이터에 반영하여, 모델의 강건성(robustness)을 높입니다.

🔑 핵심 개념 5: "암묵적" 교차 모달 정렬의 의미

기존의 교차 모달 정렬 방법들과 LoMo를 비교해보겠습니다:

방법	정렬 방식	추가 비용
CLIP 스타일 대조 학습	명시적: 이미지-텍스트 쌍에 대한 별도의 대조 손실 함수(contrastive loss)	높음 (추가 학습 목표)
크로스 어텐션 정렬	명시적: 어텐션 메커니즘 수정	높음 (아키텍처 변경)
LoMo	암묵적: 데이터 구조만 변경, 기존 언어 모델링 손실(language modeling loss) 그대로 활용	거의 없음

LoMo의 핵심 통찰은, 명시적인 정렬 목적 함수 없이도 올바른 형태의 학습 데이터만 제공하면 모델이 자연스럽게 교차 모달 정렬을 학습할 수 있다는 것입니다. 이는 대규모 언어 모델의 강력한 문맥 학습(in-context learning) 능력을 활용한 것이라고 볼 수 있습니다.

📊 실험 결과 심층 분석

13개 벤치마크 분류

논문에서 사용된 13개 벤치마크는 크게 다음과 같이 분류할 수 있습니다:

1. 일반 멀티모달 이해 및 추론

MMBench: 다양한 시각-언어 능력을 평가하는 종합 벤치마크
MMStar: 멀티모달 추론 능력 평가
MMMU: 대학 수준의 멀티모달 이해 평가

2. 수학 및 논리 추론

MathVista: 시각적 맥락에서의 수학적 추론
MathVerse: 다양한 형식의 수학 문제 이해

3. 문서 및 텍스트 이해

DocVQA: 문서 이미지 기반 질문 답변
TextVQA: 이미지 내 텍스트 이해
OCRBench: OCR 능력 종합 평가

4. 시각적 인식 및 이해

ScienceQA: 과학적 추론 능력
AI2D: 다이어그램 이해 능력

5. 교차 모달 일관성 (LoMo 특화 평가)

텍스트 질문 vs. 이미지화된 질문에 대한 일관성 평가

성능 향상의 의미

2.67점(LLaVA-OneVision-1.5-8B)과 2.82점(Qwen3.5-9B)의 향상이 얼마나 의미 있는지 맥락을 이해해봅시다:

📈 비교 관점:

- 기반 모델 간 성능 차이: 보통 5~15점
- 데이터 2배 증가 효과: 약 1~2점
- 아키텍처 개선 효과: 약 1~3점
- LoMo 효과: 2.67~2.82점 (데이터 추가 없이!)

→ LoMo는 데이터를 늘리거나 아키텍처를 바꾸지 않고도
  상당한 수준의 성능 향상을 달성합니다.

🔄 LoMo와 기존 데이터 증강 방법 비교

LoMo를 기존의 다른 데이터 증강 방법들과 비교하면 다음과 같습니다:

방법	목적	방식	LoMo와의 차이
랜덤 크롭/플립	시각적 강건성	이미지 변환	시각적 모달리티만 다룸
텍스트 패러프레이징	언어적 다양성	텍스트 재작성	텍스트 모달리티만 다룸
CutMix/MixUp	일반화 향상	이미지 혼합	교차 모달 고려 없음
instruction tuning 다양화	지시 따르기	템플릿 변환	의미적 내용 변경 가능성
LoMo	교차 모달 정렬	텍스트→이미지 대체	모달리티 간 의미 불변성 보장

LoMo만이 두 모달리티 간의 의미적 동등성을 명시적으로 학습 데이터에 반영합니다.

🚀 LoMo의 실제 응용 가능성

응용 시나리오 1: 스크린샷 기반 에이전트

현재 문제: 웹 에이전트가 스크린샷에서 텍스트를 보고
          행동을 결정할 때 성능 저하 발생

LoMo 적용 후: 스크린샷 속 텍스트 ↔ 순수 텍스트 지시
             간의 표현 일관성 향상
             → 더 정확한 에이전트 행동 결정

응용 시나리오 2: 멀티모달 문서 처리

현재 문제: PDF/PPT 등 문서에서 텍스트가 이미지로
          렌더링된 경우 이해 능력 저하

LoMo 적용 후: 렌더링된 텍스트 이해 능력 향상
             → 더 정확한 문서 분석 및 요약

응용 시나리오 3: 접근성(Accessibility) 향상

활용 사례: 시각 장애인을 위한 이미지 속 텍스트 읽기
          다국어 간판/문서 번역
          역사적 문서의 디지털화

LoMo 적용 후: 다양한 시각적 품질의 텍스트 이미지
             처리 능력 향상

응용 시나리오 4: 멀티모달 RAG(Retrieval-Augmented Generation)

현재 문제: 텍스트 데이터베이스와 이미지 데이터베이스에서
          검색된 정보를 통합할 때 모달리티 간 표현 불일치

LoMo 적용 후: 교차 모달 표현 정렬로
             멀티모달 RAG 성능 향상

💭 논문이 남긴 질문들

이 논문을 읽으면서 자연스럽게 생기는 후속 연구 방향들을 정리해봅니다:

Q1: 최적의 텍스트 구간 선택 전략은?

LoMo는 "구조 인식 구간 위치 지정"을 통해 변환할 텍스트 구간을 선택합니다. 하지만:

어떤 종류의 텍스트가 이미지로 변환될 때 가장 효과적인가?
핵심 정보 vs. 배경 정보 중 무엇을 변환하는 것이 더 효과적인가?
구간의 길이와 위치가 학습 효과에 미치는 영향은?

Q2: 얼마나 많은 LoMo 데이터가 필요한가?

전체 학습 데이터 중 LoMo 변환 데이터의 최적 비율은?
더 많이 쓸수록 항상 좋은가, 아니면 최적점이 있는가?

Q3: 다국어 환경에서의 효과는?

한국어, 중국어, 아랍어 등 다양한 언어로 렌더링된 텍스트에서도 동일한 효과가 나타나는가?
언어별로 최적화된 렌더링 방법이 필요한가?

Q4: 더 복잡한 시각-텍스트 혼합에서의 효과는?

수식, 코드, 표 등 특수한 형태의 텍스트에도 효과적인가?
자연 이미지와 렌더링된 텍스트가 함께 있는 복합적인 경우는?

🌟 마무리: 이 논문이 중요한 이유

LoMo 논문은 VLM 연구에서 종종 간과되던 데이터 편향의 구조적 문제를 정면으로 다루며, 이를 해결하는 우아하고 실용적인 방법을 제시합니다.

특히 주목할 점은 다음 세 가지입니다:

1. 문제 발견의 독창성: "텍스트를 이미지로 바꾸면 성능이 떨어진다"는 현상은 누구나 직관적으로 의심할 수 있지만, 이를 코사인 거리와의 단조 관계로 정량화하고 데이터 편향으로 귀인한 것은 매우 날카로운 통찰입니다.

2. 해결책의 단순함: 복잡한 아키텍처나 새로운 손실 함수 없이, 단순히 데이터 형식을 바꾸는 것만으로 의미 있는 향상을 달성했습니다. 이는 "좋은 데이터가 좋은 모델을 만든다"는 딥러닝의 근본 원칙을 다시 한번 확인시켜 줍니다.

3. 실용적 확장성: 어떤 VLM에도 즉시 적용 가능한 플러그 앤 플레이(plug-and-play) 방식으로, 학계와 산업계 모두에서 바로 활용할 수 있습니다.

앞으로 멀티모달 AI가 더욱 발전하면서, LoMo와 같은 데이터 수준의 모달리티 정렬 기법이 더욱 중요해질 것으로 기대됩니다. 특히 텍스트, 이미지, 오디오, 비디오가 복합적으로 혼재하는 실제 세계의 다양한 응용 분야에서, 모달리티 간 의미적 일관성을 보장하는 기술은 필수적인 기반 기술이 될 것입니다.

이 블로그 포스트는 arXiv 논문 2605.30265를 바탕으로 작성되었습니다. 원문 논문을 참고하시면 더 자세한 실험 결과와 구현 세부 사항을 확인하실 수 있습니다.

서민성

기록하는 습관을 기르고 싶습니다

이전 포스트

UniSteer: Text-Guided Flow Matching in Activation Space for Versatile LLM Steering

다음 포스트