Grounding Model 선택 시 고려할 사항들

이정민·2026년 7월 8일

먼저 Grounding Model은 무엇일까요?

Grounding Model

"언어(Text)와 시각 정보(Image)의 물리적 위치를 정확하게 연결(Mapping)해 주는 모델"

쉽게 말해, 기존의 AI가 이미지 전체를 보고 "이 사진엔 드론이 있네요"라고 단순 매칭(Image-Text Matching)을 했다면, 그라운딩 모델은 "문장에서 말하는 '드론'은 바로 이미지 안의 [X좌표, Y좌표] 요기야!" 하고 정확한 위치(박스나 마스크)를 짚어내는(Localization) 모델입니다. 언어라는 추상적인 개념을 실제 시각 공간에 닻을 내리듯(Grounding) 고정시킨다는 의미에서 붙은 이름입니다.

Main Tasks

1. Grounded Object Detection

일반적인 Object Detection 모델은 미리 학습한 단어(예: car)만 찾을 수 있습니다. 하지만 그라운딩 모델은 자유롭고 복잡한 서술형 문장(Phrase)을 입력받아 정밀하게 물체를 찾아냅니다.

텍스트 입력: "오른쪽 나무 뒤에 숨어있는 빨간색 자동차"

모델의 행동: 이미지 전체를 뒤져서 수많은 차 중, '오른쪽', '나무 뒤', '빨간색'이라는 텍스트 조건에 정확히 부합하는 타겟 영역에 바운딩 박스를 칩니다.

2. REC (Referring Expression Comprehension)

말 그대로 '지칭하는 표현을 이해'하는 태스크입니다. 이미지 내에 동일한 사물이 여러 개 있을 때, 언어적 맥락을 파악해 정확히 사용자가 의도한 사물 하나를 골라내는 능력입니다

그럼, 대표적인 Grounding Model로는 무엇이 있을까요?

본 포스트에서는 컴퓨터 비전 및 멀티모달 학계에서 베이스라인으로 가장 널리 쓰이는 핵심 모델들 세 가지를 알아보겠습니다.

GLIP vs Grounding DINO vs KOSMOS-2

세 모델은 '텍스트와 박스 좌표를 어떻게 연결(Grounding)하느냐'의 아키텍처 관점에서 패러다임 차이가 있습니다.

GLIP (Grounded Language-Image Pre-training)

GLIP은 초기 기틀을 확립한 모델입니다.

기존의 Object Detection 문제(소프트맥스로 클래스 분류)를 "구문 정렬(Phrase Grounding) 문제"로 재정의하여 대성공을 거둔 모델입니다.

구조: 이미지 인코더와 텍스트 인코더가 독립적(e.g., Swin Transformer + BERT)으로 존재하고, 이 둘의 특성(Feature)을 깊게 융합(Deep Fusion)한 뒤, 이미지 패치와 단어 토큰 간의 유사도 매칭(Dot Product)을 통해 박스 위치를 찾아냅니다.

독립된 인코더에서 나온 것을 그냥 결합하는 것이 아닌, 네트워크 중간 레이어마다 서로 Deep Fusion하는것이 핵심입니다. Image Feature $O$ , Text Feature $P$ 가 있을 때, 다음과 같은 형태로 서로의 정보를 흡수합니다.
$O = \text{X-MHA}(O, P) = \text{X-MHA}(P, O)$
특징: 구조가 직관적이고 매칭 맵을 시각화하기엔 좋지만, '박스 자체의 정밀한 좌표 회귀' 전용 모듈의 힘이 조금 약합니다.

Grounding DINO

Grounding DINO는 현재 디텍션 베이스라인의 표준입니다.

강력한 DETR(DEtection TRansformer) 계열 디텍터인 DINO GLIP의 Grounded 개념을 결혼(Marrying)시킨 모델입니다.

구조: 디텍터 내부의 Transformer 디코더 안에서 이미지 쿼리와 텍스트 프롬프트가 Cross-Modality Decoder 레이어를 거치며 아주 정밀하게 상호작용합니다.
- 핵심 레이어 1 (Feature Enhancer): 이미지와 텍스트 피처를 입력받아 양방향 크로스 어텐션(Bi-Directional Cross-Attention)을 통해 초기 정렬을 수행합니다.
- 핵심 레이어 2 (Cross-Modality Decoder): 여기가 핵심입니다. 모델이 예측할 물체의 후보인 'Learnable Object Queries'를 이미지와 텍스트 정보 양쪽에 모두 어텐션(Attention) 시킵니다. 즉, 쿼리가 "이미지 속 사물 경계"와 "텍스트 프롬프트의 의미"를 동시에 고려하면서 박스 좌표와 카테고리를 동시에 정밀하게 깎아나갑니다.
특징: 현재 오픈셋/오픈월드 연구에서 가장 강력하고 정밀한 박스 성능을 보여줍니다. 텍스트 조건(예: "오른쪽 나무 뒤에 숨은 빨간 차")을 주었을 때 박스를 깎아내는 정밀도가 세 모델 중 가장 뛰어납니다.

Original DINO와의 차이

DINO라고 하면 보통 Meta의 DINO로, Self-Supervised Learning 기반의 비전 백본 모델을 많이 생각하십니다.

하지만 Grounding DINO의 유래는 IDEA의 DETR 계열 SOTA Object Detector입니다.

결정적인 차이점 (핵심 아이디어):

일반 DINO (②번): 정해진 카테고리(예: 클래스 ID 0은 사람, 1은 자전거)의 인덱스만 맞추는 모델입니다. 언어(Text)를 전혀 모릅니다.

Grounding DINO: 이 강력한 디텍터 DINO에 '언어(Text)를 이해하는 뇌'를 이식한 모델입니다.

KOSMOS-2

KOSMOS-2는 멀티모달 생성형 LLM (MLLM)입니다.

앞의 두 모델이 '디텍터' 기반이었다면, KOSMOS-2는 "인과적 언어 모델(Causal Language Model, GPT 스타일)" 기반의 멀티모달 모델입니다. 때문에 앞의 두 모델들과 달리 이미지와 박스 좌표를 전부 언어(Text)형태로 통일합니다.

핵심 구조 (Pixel-to-Token): 이미지 영역을 표현하는 바운딩 박스 좌표 [ $X_{min}$ , $Y_{min}$ , $X_{max}$ , $Y_{max}$ ]를 이산화(Discretization)하여, 미리 정의된 위치 토큰(예: <box_start>, <loc_45>, <loc_122>, <box_end>)으로 변환합니다.
작동 방식: 입력으로 이미지가 들어오면, 차례대로 다음 토큰을 예측하는 디코딩을 수행합니다.