이미지에 포함된 모든 픽셀에 대해 각 픽셀이 어떤 의미적 클래스(semantic class)에 속하는지를 예측하는 것
(H × W × C)(H × W)이미지 분류(Image Classification)는 이미지 전체를 하나의 의미 단위로 보고 하나의 클래스만 예측한다.
예를 들어, “이 이미지는 고양이다”, “이 이미지는 자동차이다” 이렇게만 예측한다.
| 구분 | 이미지 분류 | Semantic Segmentation |
|---|---|---|
| 예측 단위 | 이미지 전체 | 픽셀 단위 |
| 출력 형태 | 클래스 벡터 | 이미지 크기의 마스크 |
| 위치 정보 | 알 수 없음 | 정확히 알 수 있음 |
| 공간 정보 활용 | 거의 없음 | 필수적 |
| 난이도 | 낮음 | 높음 |
| 라벨링 비용 | 낮음 | 매우 높음 |
이미지 분류는 이미지에 무엇이 있는지만 중요하고, 어디에 있는지는 중요하지 않다.
Semantic Segmentation는 무엇인지, 어디에 있는지, 어떤 형태인지까지 필요하다.
이 때문에 Segmentation은 객체의 경계(boundary)와 픽셀 간 관계를 유지하는 모델 구조가 필요하다.