VisionZip: Longer is Better but Not Necessary in Vision Language Models

VisionZip

코드

---

[연구 노트] VisionZip objection에 대한 RecoverTier 방어

쟁점: VisionZip §4.2는 "정보가 bbox 밖 proxy token으로 이사한다"고 주장 → RecoverTier의 bbox recall selector 타깃이 옳은지 공격받음.

방어 (타깃 차원): oracle이 증명한 명제 = "같은 40% hot 예산 내에서 정답 bbox를 hot에 넣는 fidelity 배분이 존재하고, 그것만으로 +5~9 ANLS 회복됨." 이는 selector가 조준할 타깃이 도달 가능·충분함을 보인 존재 증명임.

VisionZip을 견디는 이유: 만약 "정보가 bbox 밖으로 이사" 논리가 InfoVQA를 지배했다면, bbox만 살린 oracle 이득은 0에 수렴했어야 함. 그런데 +5~9가 실측됨 → bbox recall이 이 과제에서 유효하고 충분한 타깃임이 반증 가능한 실험으로 확인됨(VisionZip objection이 물리려면 oracle이 평평했어야 했으나 실측이 기각).

양보 (범위 한정):

• 증명됨: bbox recall 타깃은 충분(sufficiency) → recall-selector 추구 정당성 확보 ✓
• 증명 안 됨: bbox recall이 유일/최적이라는 것. VisionZip의 dominant/proxy token이 더 적은 예산으로 같은 이득을 내거나 bbox와 상보적일 가능성은 열려 있음.

---

1. Introduction

Pilot Study: Visual Token Redundancy 관찰

• Fig. 2: CLIP과 SigLIP이 생성하는 visual token에 대한 pilot study 결과, 소수의 token만 높은 attention을 받아 대부분의 정보를 담고, 대다수 token은 최소한의 attention·제한된 정보만 집약함을 통계적·시각적으로 확인함.
• 이 관찰로부터 visual token에 상당한 redundancy가 존재한다는 결론을 얻음.
  • Sec. 2.2 (관찰): 소수의 dominant token만 대부분의 정보를 집약하고, 낮은 attention을 받는 대다수 token은 기여 정보가 적어 redundancy가 됨.
  • Sec. 4.1 (원인): layer가 깊어질수록 attention이 소수 proxy token으로 "shortcut" 수렴하며, softmax gradient 특성(높은 값은 더 크게, 낮은 값은 더 작게)이 이 집중을 심화시킴

VisionZip 제안

• 성능 저하 없이 효율성을 높이기 위해, LLM에 더 informative한 visual token을 추출하는 text-agnostic 방법인 VisionZip을 개발함.
  • Training-free 모드: attention을 많이 받아 정보를 집약하는 dominant token을 선별하고, 작지만 중요한 세부 정보 손실을 막기 위해 남은 token을 similarity 기반으로 병합해 contextual token을 추가 추출함.
  • Fine-tuning 모드 (Sec. 2.4): token 감소로 발생하는 visual 입력 공간과 LLM 공간 간 misalignment를 완화하기 위해, 최소 데이터로 projector layer를 30분 fine-tuning하여 감소된 token 수에 적응시킴.
  • Training from scratch 모드: 처음부터 학습하는 방식으로도 적용 가능함.

2. VisionZip

2.1. Preliminary

생략

2.2. Redundancy Observation

• Fig. 2: vision encoder(CLIP/SigLIP)의 layer-2에서 visual token 간(그리고 CLS→visual) self-attention을 시각화한 것으로, 소수 token에만 attention이 집중되고 대다수는 attention이 0에 가까워 redundancy가 존재함을 보임.
• FastV와의 차이: FastV는 LLM decoder의 text-visual attention을 쓰는 text-relevant 방식인 반면, Fig. 2는 LLM 이전 vision encoder 단계의 visual token 간 attention을 보는 text-agnostic 관점임.

2.3. Informative Visual Token Zip

Step 1 — Dominant Token Selection (Algorithm 1)

vision encoder의 attention score를 이용해 가장 informative한 token을 선별하는 단계임.

• ① Attention score 계산 (Eq. 1): 각 head별 attention score $S_h = \text{Softmax}(Q_h K_h^\top / \sqrt{D_h})$를 구한 뒤, head 차원으로 평균 내어 집계 행렬 $S_{avg} \in \mathbb{R}^{B \times SeqLen \times SeqLen}$을 얻음. vision encoder에서 output_attentions=True로 attention을 뽑아 사용함.
• ② 각 token이 "받은" attention 집계: CLS가 있는 CLIP은 CLS token이 각 visual token에 준 attention을 head 방향으로 합산함(CLS 자신은 제외). CLS가 없는 SigLIP은 대신 다른 모든 token으로부터 받은 평균 attention을 사용함(Appendix A.2).
• ③ Top-K 선택 후 CLS와 결합: 받은 attention이 큰 상위 K개를 dominant token으로 뽑고 CLS와 합쳐 최종 index를 구성함. 이렇게 뽑힌 dominant token이 거의 모든 attention과 정보를 집약함(Fig. 3).

Step 2 — Contextual Tokens Merging (Algorithm 2)

dominant token이 대부분 정보를 담지만, 작지만 중요할 수 있는 세부 손실을 막기 위해 남은 token을 병합하는 단계임.

• ① 남은 token 분리 후 균등 분할: dominant를 제외한 non-dominant token을 target 그룹과 merge 그룹으로 나눔(M은 생성할 contextual token 수). 이때 분할 기준은 attention·유사도 같은 내용이 아니라 sequence 위치의 등간격(uniform) index 샘플링으로, target을 위치상 골고루 퍼지도록 뽑고 나머지를 merge로 돌림. target은 병합의 anchor(목적지) 역할이며, 실제 병합 배정은 다음 단계의 key 유사도로 결정됨.
• ② Key 기반 유사도 계산: self-attention의 key(K)가 각 token 정보를 이미 요약하고 있다는 점을 활용해, merge token의 key와 target token의 key 간 dot product로 유사도를 계산함.
• ③ 최유사 target에 할당 후 평균 병합: 각 merge token을 가장 유사한 target에 배정하고 평균을 내어 contextual token을 생성함. 이 contextual token은 이미지의 semantic similarity 정보를 담은 informative token으로 기능함(Fig. 3).

전체 흐름

vision encoder attention → ① dominant(attention Top-K로 핵심 정보 선별) → ② contextual(나머지를 key 유사도로 병합해 세부 정보 보존) → 둘을 합쳐 대폭 축소된 visual token으로 LLM에 입력.

• 핵심 포인트 1: dominant 선택이 CLS→visual attention(CLIP) 또는 평균 received attention(SigLIP) 기반이라 text-agnostic임.
• 핵심 포인트 2: merging이 별도 연산 없이 이미 계산된 key를 재활용해 유사도를 잼.

2.4. Efficient Tuning

token 감소로 생기는 visual 공간과 LLM 공간 간 misalignment를 보정하는 단계임.

• 무엇을 튜닝: 다른 구성 요소는 freeze한 채 multimodal projector만 fine-tuning하여 vision–language 공간 alignment를 향상시킴.
• 얼마나: LLaVA-1.5 데이터셋의 1/10만 사용하며, LLaVA-1.5 7B 기준 8×A800에서 30분만에 완료됨(3090 GPU에서도 가능, 자원 효율적).

2.5. Usage of VisionZip

Image·video understanding은 물론 기존 efficient VLM이 못 하던 multi-turn conversation까지 지원하고, text-agnostic이라 기존 LLM 가속 알고리즘과 호환되는 plug-and-play 방식으로 성능 90% 이상 유지하며 runtime·memory를 3배 절감함(13B가 7B보다 효율·성능 모두 우위 가능, Sec. 4.3).

3. Experiments

3.1. Effectiveness on Image Understanding

Setup: 11개 벤치마크에서 FastV, SparseVLM(둘 다 LLM forward 중 attention 기반으로 token을 점진 감소)과 비교. LLaVA-1.5 / LLaVA-NeXT / Mini-Gemini 등 다양한 아키텍처·해상도에서 검증. VisionZip은 학습 없는 inference 적용, VisionZip‡는 projector만 30분 fine-tuning한 버전.

성능 (LLaVA-1.5, Table 1)

• 576 → 192: 평균 accuracy 1.5%만 하락 → FastV 대비 +10.3%, SparseVLM 대비 +2.1%.
• 576 → 64: FastV 대비 +18.4%, SparseVLM 대비 +8.2%로 격차 확대(토큰 적을수록 우위 커짐).
• VisionZip‡ (64 token): projector tuning으로 95.2%까지 회복 — 10배 token 쓰는 vanilla 대비 -4.8%에 불과.
• 역전 현상: MMVeT·MMMU 등에서는 token 감소가 오히려 성능을 향상시킴 → redundant token이 noise로 작용해 판단을 저해했음을 시사(Sec. 4에서 분석).

성능 (LLaVA-NeXT, Table 2)

• LLaVA-NeXT는 이미지를 5개(4분할 + resize된 원본)로 나눠 처리해 token 수가 2880개로 크게 늘어남 → 감축 효과가 더 큼. token 구성은 640 / 320 / 160.
• 640 token: 학습 없이 97.6%, projector tuning 시 98.9%(vanilla에 근접).
• 160 token (약 5%): 학습 없이 92.0%, tuning 후 95.2% → SparseVLM 대비 각각 +5.8%, +9%.

성능 (Mini-Gemini, Fig. 4)

• LAION-pretrained ConvNeXt-L로 고해상도 refinement하는 다른 아키텍처에서도 검증.
• POPE·TextVQA·GQA에서 token 수가 줄수록 SparseVLM과의 격차가 급격히 확대 → 다양한 아키텍처에서 visual token redundancy가 공통적으로 존재함을 입증.

3.2. Effectiveness on Video Understanding

Setup: TGIF-QA·MSVD-QA·MSRVTT-QA·ActivityNet-QA 4개 video QA 벤치마크, Video-LLaVA 프레임워크 + ChatGPT score로 평가.

성능 (Video-LLaVA, Table 3)

• vanilla는 8프레임 × 256 token = 2048 token(상한 100%). VisionZip은 프레임당 256→17로 zip해 총 136 token만 사용(baseline은 135개로 pruning).
• training-free VisionZip이 4개 벤치마크 평균 93.2% → SparseVLM 대비 +6.7%.
• 최대 벤치마크 MSRVTT에서는 SparseVLM 대비 +37.2%로 큰 격차, 모든 벤치마크에서 90% 이상 유지(robustness 입증).

3.3. Efficiency Analysis

• LLaVA-NeXT-7B, 단일 A800-80GB, POPE 기준으로 FastV·SparseVLM과 비교("prefilling time" = 첫 token 생성 latency).
• 동일 token 수로 줄였을 때도 성능 우위 유지하면서, vanilla 대비 전체 시간 3배, prefilling time 7.8배 개선(FastV·SparseVLM의 1.3~1.8배를 크게 상회).

4. Analysis and Discussion

4.1. Reasons of Redundancy in Visual Tokens

현상 (Visualization, Fig. 5)

• 초기 layer: attention이 이미지 전반에 폭넓게 분포됨.
• 중간 layer: 갑작스럽게 소수 token으로 수렴하기 시작함.
• 깊은 layer: attention·정보가 소수 dominant token에 집중되며, LLM용 token을 뽑는 23번째 layer에서 집중도 정점에 도달함.
• 마지막 layer: attention이 다시 분산됨 → contrastive loss로 CLIP text branch와 정렬되면서 원본 이미지 표현력이 제약되기 때문. 이 때문에 VLM은 -2 layer(second-to-last) 를 선택함.

원인 (Explanation)

• Shortcut 경향: transformer가 layer가 깊어질수록 모든 token에서 정보를 고르게 모으는 대신, 소수의 proxy token에 정보를 몰아넣는 지름길을 택함(CLS가 있으면 proxy → CLS로 한 번 더 집중).
• Softmax gradient 강화 (Eq. 2): 도함수 $\text{softmax}(z_i)(1-\text{softmax}(z_i))$ 특성상 z가 큰 token은 gradient가 커져 더 강화되고, z가 작은 token은 gradient가 무시될 수준이라 방치됨 → "높은 건 더 높게, 낮은 건 더 낮게"로 양극화되어 정보가 소수에 집중됨.
• 선행 관찰과 연결: LLM의 "Attention Sink"[54], semantic segmentation의 "global token"[45]과 동일 계열의 정보 집중 현상임.

  proxy token = 여러 token의 정보를 대리로 몰아 담은 소수 token. 결과 관점의 dominant token과 사실상 같은 집합이며, §4.1은 "모델이 shortcut을 위해 정보를 인위적으로 위임·집중시킨 결과물"이라는 인과적 함의로 proxy라 부름.

4.2. Why VisionZip Outperforms Previous Work?

Text-Relevant Efficient VLM (기존 방식)

• FastV·SparseVLM은 LLM에 의존해 text-relevant token을 고름 → 모든 visual token을 LLM에 넣고, LLM layer 전반의 text–visual attention으로 선별함.

Pre-group Knowledge로 인한 Misalignment (한계)

• vision encoder가 정보를 소수 high-attention token(proxy)에 이미 집약해버려, 나머지 token은 정보가 빈약함. 특정 세부를 표현해야 할 token이 proxy로 그룹화되며 원래 in-context 정보를 잃음.
• 이 proxy token은 주요 피사체가 아니라 주변부·배경에 나타나는 경향 → Fig. 6(b)에서 사람 관련 정보가 사람 위가 아닌 도로 위 proxy token에 할당됨.
• 결국 text-relevant 방법이 고르는 token은 vision encoder가 실제 지식을 집약한 위치와 misalign됨.

검증 실험 (Table 5, TextVQA · SparseVLM · 최종 64 token)

• Ex1 (핵심 token 제거): vision encoder attention 상위 50개를 masking 후 남은 526개에서 SparseVLM이 선택 → 51.1 → 46.4 (약 -9%). 핵심 token을 빼면 크게 하락 = 그 token들이 실제로 중요했음.
• Ex2 (핵심 token만 공급): VisionZip이 고른 상위 128개만 SparseVLM에 주고 64개로 필터링 → 51.1 → 52.5 (약 +2.6%). 후보를 미리 좁혀주면 오히려 향상 = SparseVLM이 원래는 덜 informative한 token을 골랐음.
• 종합: 양방향(빼면 나빠지고 / 주면 좋아짐)으로, text-relevant 선택 집합 ≠ vision encoder 지식 집약 집합임을 정량 검증 → text-agnostic(VisionZip) 방식의 우위 근거.