🇶 Semantic Segmentation이란 무엇이며, 이미지 분류(Classification)와 어떤 차이가 있나요?
Semantic Segmentation은 이미지의 모든 픽셀에 대해 어떤 클래스에 속하는지를 분류하는 컴퓨터 비전 기술입니다. 단순히 "이미지에 뭐가 있나?"를 넘어서, "이미지의 모든 점이 어디에 속하는가?"를 답하는 것이죠.
1. 주요 특징
Dense Prediction (조밀한 예측)
이미지 분류가 하나의 벡터 값을 출력한다면, Semantic Segmentation은 이미지의 모든 위치에 대해 예측을 수행합니다. 따라서 출력물은 보통 원본 이미지와 해상도가 같은 세그멘테이션 맵 (Segmentation Map) 형태를 띱니다.
동일 클래스 미구분
Semantic Segmentation은 같은 클래스에 속하는 서로 다른 개체들을 구분하지 않습니다. 예를 들어, 한 사진에 강아지 세 마리가 있다면 이들을 개별적인 '강아지 1, 2, 3'으로 나누지 않고, 그저 '강아지'라는 하나의 영역(Class)으로 묶어서 표시합니다.
참고: 개체별로 구분하는 기술은 Instance Segmentation이라고 부른다.
2. 작동 원리 및 구조
대부분의 현대적 세그멘테이션 모델은 FCN (Fully Convolutional Network) 구조를 기반으로 하며, 크게 두 부분으로 나뉩니다.
- Encoder (Feature Extraction): 이미지의 특징을 추출하는 과정이다. 이 과정에서 이미지의 크기는 줄어들고(Downsampling), 추상적인 정보(무엇인지)를 학습합니다.
- Decoder (Localization): 줄어든 정보를 다시 원본 이미지 크기로 복원하는 과정입니다 (Upsampling). 이를 통해 각 특징이 이미지의 '어느 위치'에 있는지 정교하게 맞춰나갑니다.
3. 활용 분야
- 자율주행: 도로, 보행자, 차량, 표지판 등의 영역을 픽셀 단위로 파악하여 주행 경로를 결정합니다.
- 의료 영상 분석: MRI나 CT 영상에서 종양의 위치와 크기를 정확히 측정합니다.
- 사진 편집 및 증강 현실 (AR): 인물의 배경을 제거하거나(누끼 따기), 가상의 배경을 합성할 때 사용됩니다.
4. 이미지 분류 (Classification)와의 차이점
이미지 분류와 세그멘테이션은 정보를 추출하는 정밀도에서 큰 차이를 보인다.
| 구분 | 이미지 분류 (Classification) | 의미론적 분할 (Semantic Segmentation) |
|---|---|---|
| 단위 | 이미지 전체 (Image-level) | 픽셀 (Pixel-level) |
| 목표 | 이미지에 어떤 물체가 있는지 라벨링 | 모든 픽셀이 어떤 클래스에 속하는지 분류 |
| 결과 | "이 사진은 고양이 사진이다." | "이 픽셀은 고양이, 저 픽셀은 배경이다." |
| 출력 | 클래스 확률 값 (예: Dog 90%) | 입력 이미지와 크기가 같은 마스크(Mask) |
