Paper Link
Code Link

Abstract

VLMs 대형 언어 모델 GPT-4o, Gemini-1.5 pro, Claude는 수많은 이미지-텍스트 이해가 가능 VLM을 서비스하고 있고, 많은 시각 이해 벤치마크에서 높은 점수를 얻고 있습니다.
본 논문에서는 BlindTest라는 7가지 시각적인 과제를 제시합니다.
해당 과제는 사람에게는 매우 쉬운 것으로, 예를 들어 두 개의 원이 겹치는지 여부, 두 개의 선이 교차는지 여부, 단어에서 어느 글자가 원으로 둘러싸여 있는지, 올림픽과 같은 로고에서 원의 개수를 세는 것입니다.
이런 쉬운 과제에서 최첨단 VLM은 평균 56.20%의 정확도를 보였으며 Sonnet-3.5가 가장 높은 정확도(73.77%)를 기록했습니다.

Introduction

GPT-4V(ision)로 시작된 VLMs의 등장으로 인해 이미지-텍스트 처리가 가능해졌습니다.
VLMs 장면 내의 객체를 정확하게 식별하고, 검출된 객체를 기반으로 복잡한 작업을 수행할 수 있습니다.
예를 들어, 메뉴 이미지 안에 맥주 비용을 예측하는 등이 있습니다.

기존의 VLM benchmark는 광범위한 주제를 다루지만, 특정한 한계를 지적하지 않고 전체적인 인간과 LLM 간의 차이를 측정하기만 합니다.
예를 들어, 많은 질문에서 입력 이미지가 불필요한 경우가 많습니다.

1. 텍스트로 구성된 질문과 선택지로만으로도 문제를 해결할 수 있으며
2. VLMs은 추론으로 이미지를 이해하는 것이 아니며 인터넷 규모의 훈련에서 암기한 것입니다.

요약하면, VLM의 높은 수준의 테스트에서의 우수성을 강조하지만 현재 벤치마크는 인간처럼 이미지를 인식하는지를 체크하지 않습니다.

본 논문에서는 시력 검사에서 영감을 받은 저수준 시각 과제에 대해 VLMs의 시각 능력을 테스트합니다.
GPT-4o, Gemini-1.5 Pro, Claude-3 Sonnet, Claude-3.5 Sonnet등 최첨단 VLMs 4개를 테스트합니다.
2D 기하학적 원시 요소(예: 선, 원, 사각형)만을 포함하고 세계 지식이 거의 또는 전혀 필요 없는 8개의 매우 간단한 시각 과제를 사용합니다.

해당 실험을 통해 VLMs은 매우 지능적인 사람이지만 근시를 가진 사람과 놀랍게도 유사하다는 것을 확인하였습니다.

1. 차트 및 다이어그램 벤치마크에서 뛰어난 성능을 보이지만 VLms는 두 선, 두 원이 교차하는지 여부를 신뢰성 있게 판단하지 못 합니다.
2. VLMs 원과 단어를 별도로 완벽하게 인식할 수 있지만, 원이 단어에 겹쳐 있을 때 어떤 글자가 원으로 둘러싸여 있는지 식별하는데 어려움을 겪습니다.
3. VLMs는 떨어져 있는 원과 같은 도형을 정확하게 셀 수 있지만, 중첩된 원을 세는 데 어려움을 겪습니다.
4. 사각형을 격자로 배치할 때 격자 사각형을 세는 것도 어려움을 겼습니다.
5. 단순화된 지하철 지도에서 2~8개의 경로와 총 4개의 역이 있는 경로를 추적하는 과제에서 VLMs는 종종 경로가 끝나는 위치 식별을 실패합니다.
6. GPT-4o는 복잡한 VLM 벤치마크에서는 가장 좋은 성능을 보였지만 우리의 실험에서는 가장 나쁜 성능을 보였습니다.

Vision language models

우리의 목표는 최첨단 VLMs이 상호작용하는 일반적인 기하학적 요소로 구성된 간단한 이미지를 어떻게 이해하는지 연구하는 것입니다.
GPT-4o, Gemini-1.5 Pro (Gemini-1.5), Claude-3 Sonnet (Sonnet-3), Claude-3.5 Sonnet (Sonnet-3.5)를 본 실험에 사용하였고 해당 모델들은 최근 VLM 벤치마크에서 가장 높은 순위를 기록한 모델입니다.

실험 중 일부 채팅 인터페이스가 APIU 대응 모델보다 성능이 떨어지는 것을 발견했습니다.
이는 아마도 추가적인 미세 조정이나 회사의 정책에 더 잘 맞추기 위한 특정 시스템 프롬프트 때문일 것입니다.
마찬가지로 perplexity.ai에서 사용할 수 있는 GPT-4o와 Claude 3 모델이 원래의 API 모델보다 성능이 떨어지는 것을 발견했습니다.

이런 이슈를 해결하기위해 각 사에서 제공하는 API를 통해 실험을 수행합니다.

BlindTest benchmark of 7 tasks

Eye exams

일반적인 시력검사처럼 기하학적 원시 요소로 구성된 7개의 과제를 설계합니다.
기존 시험을 사용하지 않는 것은 인터넷에 존재하는 질문을 피하고, 예비 실험에서 VLM은 일반적인 시력 검사를 매우 잘 수행하는 것을 확인했기 때문입니다.

Motivation

우리의 BlindTest 벤치마크는 겹치거나 가까이 있는 식별하는 능력을 테스트합니다.
이러한 테스트는 VLMs가 어려움을 겪을 것이라고 가정하는데 이는 흰 캔버스 위에 있는 정확한 공간 정보는 자연어로 설명할 수 없기 때문입니다.

Controls

각 테스트 이미지에 대해, 우리는 두 가지 다른지만 의미적으로 동일한 질문을 사용하여 VLMs를 프롬프트합니다.
또한, 동일한 이미지를 (a) 세 가지 다른 이미지 크기와 (b) 원시 요소를 렌더링할 때 두 가지 선 두께 값을 사용하여 재생산하여 사용합니다.

Task 1: Counting line intersections

VLMs가 다이어그램과 차트 관련 질문에 대해 놀라운 정확도를 보여주었기 때문에 VLMs가 차트에서 두 그래프가 교차하는 것을 확인할 수 있는지 실험해야합니다.
두 개의 선의 교차점 수를 세도록 요청하여 이 가설을 테스트합니다.

흰 캔버스에 그려진 2D 선 그래프의 150개의 이미지를 생성합니다(그림 1a).
각 선 그래프는 세 점으로 정의된 두 개의 선 세그먼트로 구성되며, x-좌표는 고정되고 동일하게 간격을 둡니다.
y-좌표는 정확히 0, 1 또는 2점에서 교차하는 두 개의 그래프를 생성하기 위해 무작위로 샘플링됩니다.

프롬프트

각 질문은 두 가지 다른 표현으로 묻습니다: 
(1) “파란색과 빨간색 선 그래프가 서로 몇 번 교차합니까?” 
(2) “파란색과 빨간색 선이 몇 번 교차합니까?”

정답은 {0, 1, 2} 중 하나입니다 (무작위 기준 정확도: 33%).

Task 2: Two circles

위의 실험에서 교차하는 직선을 이용하여 실험을 진행하였다면, 이번 실험은 두 개의 길고 얇은 색깔 원의 교차점을 체크합니다.

해당 과제는 두 원 사이의 작은 간격, 두 원이 겹쳐져 있는지를 인식하는 실험으로 구성되어 있습니다.

프롬프트

“두 원이 서로 접촉하고 있습니까? 예/아니오로 답하세요.”
“두 원이 겹치고 있습니까? 예/아니오로 답하세요.”

정답
두 원이 겹치고 접촉하는 경우($O$, $T$)는 d < 0.0입니다
겹치지 않지만 접촉하는 경우($\bar{O}$, $T$)는 d = 0.0입니다
겹치지 않고 접촉하지 않는 경우($\bar{O}$, $T$)는 d > 0.0입니다(그림 2).
무작위 기준 정확도: 50%.

Task 3: The circled letter

영어 단어를 완벽하게 읽을 수 있다는 사실을 발견했습니다.
빨간 원을 단어의 각 글자에 하나씩 겹쳐서 VLM에게 어떤 글자가 원으로 둘러싸여 있는지 식별하도록 요청했습니다.

프롬프트

"어떤 글자가 원으로 둘러싸여 있습니까?"
"어떤 문자가 빨간 타원으로 강조되어 있습니까?"

정답은 예측된 글자와 정확히 일치해야 합니다(대소문자 구분 없음).

Task 4: Counting overlapping shapes

분리된 원의 개수를 셀 수 있다는 것을 발견했습니다.
추가적으로 올림픽 로고와 같이 교차하는 원을 세는 것을 테스트합니다.

프롬프트

이미지에 {도형}이 몇개 있나요? 숫자 형식으로 답하세요
이미지에서 {도형}의 개수를 세어 보세요
여기서 {도형}은 원 또는 오각형입니다.

정답은 {5, 6, 7, 8, 9} 중 하나입니다 (무작위 기준 정확도: 20%).

Task 5: Counting the nested squares

Task 4에서 교차하는 원을 세는 데 어려움을 겪는다는 발견을 토대로 겹치치 않는 사각형의 개수를 새는 테스트를 진행했습니다.

프롬프트

“이미지에 있는 사각형의 총 수를 세십시오.”

정답은 {2, 3, 4, 5} 중 하나입니다(무작위 기준 정확도: 25%).

Task 6: Counting the rows and columns of a grid

겹치거나 중첩된 도형을 항상 셀 수 있는 것은 아니라고 보여줍니다.
도형을 격자로 배열하고 VLMs에게 개수를 세도록 하는 과제를 제시합니다.

프롬프트

“행과 열의 수를 세고 중괄호 안에 숫자로 답하세요. 예: rows={5} columns={6}”
“표에 있는 행과 열의 수는 몇 개입니까? 숫자 쌍(행, 열)으로만 답하세요."

정답은 행과 열의 수를 모두 포함합니다. 답변은 행과 열의 수가 모두 정확하게 예측되었을 때 정답으로 간주됩니다.

Task 7: Following single-colored paths

단순화된 지하철 지도에서 두 지정된 역 사이의 고유한 색상 경로의 수를 세도록 요청합니다.

프롬프트

"A에서 C까지 가는 단색 경로는 몇 개일까요? 예를 들어 {3}과 같이 괄호 안의 숫자로 답하세요."
"A에서 C로 가는 단색 경로를 세어 보세요. 예를 들어 {3}과 같이 괄호 안의 숫자로 답하세요."의 형태로 질문합니다.

정답은 {0, 1, 2, 3} 중 하나입니다(무작위 기준 정확도: 25%).

Results

Discussion and Conclusion

우리는 최첨단 VLMS가 5살 어린아이도 쉽게 해결할 수 있는 과제에서도 여전히 어려움을 겪고 있다는 결과를 확인했습니다.
기존 VLMs가 학습하지 않았지만 난이도가 낮은 문제를 해결하지 못 하는 모습은 이전 벤치마크의 문제성을 알 수 있습니다.
BlindTest에서 VLMs의 저조한 성능은 모델이 실제 세계의 시각적 과제에서 잘 수행되지 않을 것임을 시사합니다.