Semantic Segmentation / Instance Segmentation / Panoptic segmentation

설명

• 요약
  • 시맨틱 세그멘테이션: 클래스별로 픽셀을 구분
  • 인스턴스 세그멘테이션: 동일한 클래스 내의 개별 개체를 구분
  • 파노프틱 세그멘테이션: 두 방법을 결합하여 이미지 내의 모든 픽셀에 대한 완벽한 세그멘테이션을 제공

Semantic Segmentation

• 정의
  • 이미지 내의 픽셀마다 레이블을 할당하여 같은 클래스에 속하는 것들을 동일한 레이블로 표시하는 기술
  • 개별 개체의 구분은 고려되지 않습니다.

Instance Segmentation

• 정의
  • 이미지에서 각각의 개체를 분리하여 식별하며, 그 개체의 형태까지 파악하는 기술입니다. 이것은 시맨틱 세그멘테이션의 확장된 형태
• 특징
  • 예를 들면, 이미지 상의 여러 대의 자동차가 있을 경우 각각의 자동차를 독립적인 인스턴스로 인식하고 분리하여 표시합니다.
  • 즉, 같은 '자동차' 카테고리에 속하더라도 각각의 자동차는 서로 다른 레이블을 가지게 됩니다.
    • 임의의 ID 부여
    • 겹쳐진 물체를 각각 검출하는 점
    • 하늘이나 도로 등 정해진 형태가 없는 물체의 경우는 클래스 라벨을 부여하지 않는 점,

Panoptic Segmentation

• 정의
  • 시맨틱 세그멘테이션과 인스턴스 세그멘테이션의 결합으로, 이미지에서 모든 픽셀에 레이블을 할당하는 동시에 개별 개체도 구분하는 기술입니다.
• 특징
  • 이 방법은 '물체' (stuff)와 '사물' (things) 로 카테고리를 분류합니다.
  • '물체(stuff)'
    • 형태가 일정하지 않은 물체를 의미
    • `'하늘', '도로'
    • 시맨틱 세그멘테이션 수행
  • '사물(things)
    • 독립적인 인스턴스를 가진 물체를 의미
    • '사람', '자동차'
    • 인스턴스 세그멘테이션을 수행
• 파노프틱 세그멘테이션에서는 '물체'에 대해서는 시맨틱 세그멘테이션을, '사물'에 대해서는 인스턴스 세그멘테이션을 수행