Image Segmentation

	Sementic	Instance	Panoptic
	각 픽셀이 어떤 의미를 가지는지 분할	각 픽셀이 어떤 개별 객체인지 분할	배경은 Sementic 으로, count 가 가능한 요소들은 instance 방식으로 분할

---

	Classification	Detection	Segmentation
	전체 이미지가 어떤 카테고리에 속하는지를 분류	이미지 내부 어느 위치에 어떤 카테고리의 객체가 있는지 탐지	이미지 내부 각 픽셀이 어떤 카테고리에 속하는지 분할

Fully Convolutional Networks(FCN)

기존 CNN 기반 분류 모델과의 차이

1. 기존 CNN 의 경우 classifier 에서 FC layer 를 사용하기때문에 기존 공간정보를 담고있던 3차원 벡터를 1차원 스칼라로 평탄화를 해야함. 이 FC layer 연결을 위해 input 해상도가 fix 됨 (크기를 맞춰야 함으로)
2. conv 연산 특성상 공간구조가 유지된 3차원 벡터에서 진행되기 때문에 픽셀 공간 위치가 평탄화와 다르게 사라지지 않음.
3. FC layer 는 평탄화된 픽셀 갯수 $\times$ 출력 채널수 (입력이 1채널이라면) 파라메터가 존재하지만 conv 의 경우 출력 채널수만큼만의 파라메터가 있기때문에 연산량이 훨씬 적음 => 공간 크기(H×W) 배수만큼 차이남

GAN

GAN(생성적 적대 신경망, Generative Adversarial Networks)

데이터 생성기인 Generator 와 데이터가 생성되었는지 실제 원본 이미지인지 판별하는 Discriminator 간에 경쟁을 붙여서 서로 학습하게 만들어 Generator 의 학습을 유도하는 모델

Generator

가짜 데이터를 만들어 판별자 (Discriminator)를 속이도록 학습됨

Discriminator

입력받은 데이터가 생성자(Generator)로부터 생성된 데이터인지 실제 데이터인지를 판별하도록 학습됨

Diffusion 모델

이미지 생성 모델 중 하나이며, 일정한 노이즈 정도(step)을 원본 그림에 추가하고 해당 단계 노이즈에서부터 원본 이미지를 복원하는 가중치를 각 step 마다 학습하여 실제 이미지 생성 시 완전한 노이즈에서 step 별 노이즈 제거로 새로운 이미지를 생성하는 모델

이미지 생성에서의 활용

• text-to-image : 입력한 텍스트(프롬프트)에 맞는 이미지 생성
• image to image: 이미지를 다른 스타일로 변환
• inpainting: 이미지의 특정 부분을 지우고 다시 채워넣기 (그림자 / 불필요한 사물 제거 등)
• upscaling: 저해상도 이미지를 고해상도로 업스케일링

장/단점

특징	GAN	VAE	Diffusion (LDM)
생성 품질	높음 (종종 왜곡됨)	낮음 (뿌연 느낌) -> 데이터를 잠재 공간의 특정 확률 분포(주로 가우시안 분포)로 압축했다가 복원 -> 세부 디테일이 뭉개짐	매우 높음 (선명함)
생성 속도	매우 빠름	빠름	느림 (반복 연산 필요)
학습 안정성	불안정 (모드 붕괴)	안정적	매우 안정적
다양성	낮음 -> 실제 데이터의 전체 분포를 배우기보다, 판별자가 '진짜'라고 판단할 확률이 가장 높은 안전한 지역(High-density region)에만 집중	보통	매우 높음

LDM (Latent Diffusion Model)

기존 diffusion 모델의 경우 원본 데이터 크기(예시: 원본 이미지 해상도)에서 conv, attention 을 진행했다면 LDM 에서는 VAE 의 인코더 파트를 활용하여 잠재 벡터로 크기를 줄인 후 잠재 벡터에서 기존 diffusion 모델에서 진행하는 멀티 스텝 노이즈 학습을 동일하게 수행함. (멀티 스텝으로 노이즈가 추가된 잠재 벡터 <-> 클린 잠재 벡터 간 비교 학습)