데이터가 없는 세상에서 AI는 어떻게 학습할까?

11/4(화) GDG Assemble Seminar가 주최되어 참석하게 되었다.
그때 AI 파트 멤버 한 분이 발표한 내용을 스스로 돌이켜 보며 학습하기 위해 다음과 같은 글을 작성한다.

데이터가 주어지지 않거나, 학습한 적이 없는 상태.
혹은 데이터의 양이 부족한 상태에서 AI는 어떻게 답을 도출해낼 수 있을까?

---

※ 왜 ZSL에 주목해야하는가?

일반적인 지도학습(supervised learning)은 학습할 클래스나 개념에 대해 미리 라벨링된 데이터가 필요하다.

하지만 현실 세계에는 라벨된 데이터가 없거나, 새로운 클래스가 자주 등장하거나, 데이터 수집이 어렵거나 비용이 너무 크거나 하는 경우가 많다.

따라서 AI가 본 적 없는 클래스나 개념도 인식하거나 처리할 수 있는 능력은 매우 중요하다.
이게 바로 Zero‑Shot Learning(ZSL)이 주목받는 이유이다.

---

※ Zero-Shot, One-Shot, Few-Shot 개념 정리!

• Zero-Shot Learning: 해당 클래스에 대해 한 개의 예제도 보지 않고 학습 및 추론해야 하는 방식.

• One-Shot Learning: 각 클래스당 단 하나의 예제만 주고 학습하는 방식.

• Few-Shot Learning: 각 클래스당 아주 적은 수(예: 2~5개)의 예제만으로 학습하는 방식.

---

※ ZSL의 원리!

1) 기본 설정: Seen vs Unseen 클래스

• 학습 단계: Seen 클래스의 이미지와 레이블을 가지고 일반적인 신경망을 학습시킨다.

• 테스트 단계: 학습 때 한 번도 본 적 없는 Unseen 클래스가 등장한다.

  여기서 Seen class(개, 고양이, 말) / Unseen class(기린, 얼룩말, 유니콘)를 예로 들 수 있다.

  대신, 각 클래스에 대한 텍스트 설명 / 속성 벡터 / 단어 임베딩 같은 “의미 정보(semantic information)”를 제공해서 bridge를 놓는 구조이다.

---

2) 핵심 메커니즘: “공통 의미 공간(semantic embedding space)”

• 이미지 인코더: 이미지를 벡터로 변환 (예: CNN, Vision Transformer)

• 텍스트/속성 인코더: 클래스 설명(“긴 목, 얼룩무늬, 초식 등”)을 또 다른 벡터로 변환

공유 임베딩 공간에서 이미지 벡터와 각 클래스 설명 벡터 간의 거리/유사도를 계산하고,

가장 가까운 의미 벡터를 가진 클래스로 분류하게 된다.

• 예를 들어, ‘유니콘’이라는 클래스를 실제 데이터셋에서 본 적이 없어도,
  “말과 비슷하고, 뿔이 하나 있고, 상상의 동물”이라는 설명을 벡터로 바꿔두고,
  입력 이미지(뿔 달린 말 같은 그림) 벡터가 이 설명 벡터와 가장 가깝다면
  → 유니콘으로 분류.

---

3) LLM/GPT 관점: In-Context Zero-Shot

언어모델에서는 이미지 대신 텍스트 시퀀스가 들어오고,
사전학습(pre-training)에서 “온갖 텍스트를 다 본 거대한 언어 통계 모델”을 만든 뒤,


프롬프트에

• 간단한 지시(“유니콘이 뭐야?”)만 넣고 바로 답을 내는 설정이 'zero-shot learning'

• “예시 몇 개 + 지시”를 주는 건 'few-shot / in-context learning'

여기서도 단어 임베딩 공간에서 “unicorn”이라는 단어가 “horse, horn, fantasy” 근처에

위치하도록 이미 학습돼 있고, 문맥을 통해 새로운 조합을 만들어내는 구조이기 때문에,

“본 적은 없지만 설명할 수 있는” 게 가능해지는 것이다.

---

※ 장점?

라벨링 비용 절감

• 새 클래스가 나타날 때마다 다시 라벨링 · 재학습을 안 해도 된다.

• 희귀 질병, 신규 제품 카테고리 등 라벨링이 어려운 도메인에 유리하다.

새로운 태스크로 빠른 적응

• LLM은 번역, 요약, 코드 생성, 스타일 변경 등 태스크 이름과 설명만 바꿔줘도 어느 정도 수행한다.

도메인 일반화 능력

• CLIP 같은 멀티모달 모델은 “텍스트 설명만 바꾸면” 새로운 이미지 분류 태스크를 즉시 할 수 있어,

  모델 하나로 여러 도메인을 커버할 수 있다.

데이터 부족 환경에서의 생존력

• 스타트업, 신규 서비스, 극단적으로 희귀한 이벤트(ex. 침입 탐지, 특수 센서 데이터 등)에 유리하다.

---

※ 문제점과 한계?

• 데이터 분포 차이로 인한 도메인 쉬프트
  Zero-Shot Learning은 ‘본 적 없는 클래스’를 다뤄야 하다 보니,
  학습한 데이터와 실제 예측해야 하는 데이터의 분포가 다를 때 문제가 발생한다.
  AI가 새로운 개념을 “추론”한다고 해도, 기초 데이터 분포의 차이를 완전히 극복하지는 못한다는 것을 의미한다.

• 의미 기반 임베딩의 품질과 설명의 정확성
  이때 “설명”이 부정확하거나 모호하면, 추상적이라면,
  AI가 잘못된 방향으로 유사도를 판단해버릴 수 있다. 설명의 품질과 임베딩의 정교함에 크게 의존한다.

• 학습된 seen 클래스에 대한 편향
  모델은 이미 많이 본 클래스로 답을 치우치는 경향이 강하다.
  따라서 Seen과 Unseen을 균형적으로 구분할 수 있는 보정 기법이 필요하다.

• 지도학습 대비 낮은 안정적 성능
  학습하지 않은 것을 추론해야 하므로, 일반적인 지도학습(Supervised Learning)에 비해
  정확도나 일관성이 떨어진다. 특히 이미지나 음성처럼 데이터가 복잡한 경우, 설명만으로는 구분이 어렵다.

• 설명이 없는 unseen 클래스 처리의 난이도
  ZSL은 “보지 못한 클래스”라도 설명이 있어야 유추가 가능하다.
  완전히 새로운 개념, 설명조차 존재하지 않는 개념이 주어지면 AI는 아무 단서 없이 추론해야 한다.
  즉, ZSL의 본질적 한계는 ‘의미적 단서가 있어야만 작동한다’는 점이다.

---

※ 마무리

• 결국, AI의 상상력은 인간의 맥락이 필요하다.

  Zero-Shot Learning은 마치 AI가 상상력을 가지는 첫걸음처럼 보인다.
  하지만 그 상상력은 여전히 인간이 만들어준 언어·설명·의미 구조에 의존하고 있다.
  데이터 분포의 불균형, 의미 공간의 불확실성, 편향과 윤리 문제는 계속 존재한다.
  
  결국 Zero-Shot Learning의 미래는 인간의 직관과 맥락, 그리고 기술적 정교함이 함께 진화할 때 완성된다.
  AI가 스스로 세상을 이해하려면, 우리 또한 “설명하는 인간”으로서 그 의미의 틀을 더 풍부하게 만들어가야 한다.
  
  데이터 없는 세상에서, 결국 AI를 가르치는 것은 인간의 언어와 상상력임을 잊지 말자.