Pix2Pix(Image-to-Image Translation)

ming·2023년 4월 7일
0

인공지능

목록 보기
2/2

GAN - Conditional GAN - Pix2Pix - CycleGAN - StarGAN - StarGAN v2 - pixel2style2pixel

GAN

가장 기본적
생성자와 판별자 두 개의 네트워크를 활용한 생성 모델
목점 함수를 통해 생성자는 이미지 분포를 학습할 수 있음 (이전 GAN 포스팅에서 상세히 설명함)

Pg -> Pdata,D(G(z)) 로 수렴하게 되도록 하는 것이 목표

cGAN(Conditional GAN)

데이터의 모드(mode)를 제어할 수 있도록 조건(condition) 정보를 함께 입력하는 모델

Pix2Pix(Image-to-Image Translation)

대표적인 image-to-image translation 아키텍처로 Pix2Pix가 있는 것

Pix2Pix는 학습 과정에서 이미지 x 자체를 조건(condition)으로 입력받는 cGAN의 한 유형
Pix2Pix은 픽셀(pixel)들을 입력으로 받아 픽셀(pixel)들을 예측한다는 의미를 가짐
다양한 결과물을 가질 수 있도록 하는 노이즈 z를 사용하지 않기 때문에 거의 deterministic한 결과 생성
(조건에 맞는 결과물을 만들어내는 것이 중요하기 때문)

이미지를 조건으로 입력받아, 이미지를 출력으로 내보냄
따라서 같은 해상도여야함
이를 효과적으로 처리할 수 있는 U-Net 기반의 네트워크 아키텍처를 사용

목적 함수

이미지 전체에 대해서 판별하지 않고, 이미지 내 패치 단위로 진짜/가짜 여부를 판별
Pix2Pix는 서로 다른 두 도메인 X,Y의 데이터 한 쌍으로 묶어 학습을 진행
다만 colorization과 같은 태스크에서는 데이터셋을 구성하기 쉬우나 그렇지 않은 경우도 존재
-> 한 쌍으로 묶이지 않은 데이터 셋에 대해서는 CycleGAN을 이용해 해결

" chatGPT의 Pix2Pix 설명 "
Pix2Pix는 이미지를 이미지로 변환하는 딥러닝 기술 중 하나로, 이미지를 입력으로 넣으면 원하는 대상 이미지로 변환하는 작업을 수행하는 조건부 생성 모델(Conditional Generative Adversarial Networks, CGANs)의 일종입니다. Pix2Pix는 이미지를 효과적으로 변환할 수 있어 컴퓨터 비전, 그래픽 디자인, 예술 등 다양한 분야에서 활용됩니다.
Pix2Pix는 주로 이미지 변환 작업에서 사용되며, 다양한 응용 분야가 있습니다. 예를 들어, 흑백 사진을 컬러 사진으로 변환, 낮 사진을 밤 사진으로 변환, 스케치를 실제 이미지로 변환, 지도를 실제 건물 이미지로 변환 등이 있습니다. 또한, 의료 분야에서는 CT 스캔 이미지를 MRI 이미지로 변환하는 등의 응용도 가능합니다.
Pix2Pix는 학습 데이터에 따라 결과의 품질이 크게 달라질 수 있으며, 적절한 데이터셋과 매개 변수 설정, 모델 아키텍처 등의 조정이 필요합니다. 또한, 생성자와 판별자의 균형을 맞추는 것이 중요하며, 네트워크의 복잡성이 높아 학습이 어려울 수 있습니다. 그러나 적절한 조건하에서 Pix2Pix는 높은 품질의 이미지 변환 결과를 얻을 수 있습니다.

! 코드 실습 해보기 !

https://www.youtube.com/watch?v=ImiD4npRj7k
https://ddongwon.tistory.com/126
https://deep-learning-study.tistory.com/645

0개의 댓글