Test time Training Test for SPADE

temp·2021년 11월 13일

AI Generative Model Implementation SPADE

Generative Model

목록 보기

12/30

하나의 이미지에 모델을 강제로 과적합을 시켜봅시다 ㅎㅎ
여기서는 Test Time Training Test라 이름 지었습니다.

SPADE의 pre-Trained 모델을 single image에 적합시킴으로써 얻을 수 있는 장점은 아래와 같습니다.
1. 학습된 다양한 이미지의 정보들(라벨, 구조, 디테일 등)을 이용할 수 있다.
2. Segmentation map으로부터 이미지를 생성할 때 원본 이미지와 달라질 (수 밖에 없는) 현상을 개선할 수 있다(뇌피셜).
3. 즉, 기존에 없는 오브젝트를 생성하되, single image에 걸맞는 결과를 End-to-End로 생성할 수도 있지 않을까?

Generate Image

Dataset 적재 + Network Import + 이미지 생성 : 10초 이내.

당연하게도 pre-trained model을 사용할 경우 원본 이미지로부터 뽑아낸 Label과 Style로는 원본 이미지를 온전히 복원할 수는 없습니다.

준비

--continue_train continue training: load the latest model (default: False)

coco_pretrained

--load_from_opt_file load the options from checkpoints and use that as default (default: False)

실행

Generate option for coco

CoCo Option 사용, Continue Train.

어.. 왜 pre-trained Discriminator는 없는걸까..

--> 슬픔을 머금고 single image Training으로 노선 변경

Single image Training

라벨 조정(label_nc=11에 맞게)

--contain_dontcare_label

--no_instance

--gpu_ids=1 학습은 no_gpu xx


train.py --name TTTT --dataset_mode custom 
--label_dir TTTT/train_label 
--image_dir TTTT/train_img --no_instance 
--label_nc 11 --gpu_ids 1 --contain_dontcare_label

학습은 금방 끝난다.

1000 epoch

python train.py --name TTTT --dataset_mode custom --label_dir TTTT/train_label --image_dir TTTT/train_img --no_instance --label_nc 11 --gpu_ids 1 --contain_d
ontcare_label --NITER 1000 --save_epoch_freq 200

실행

50에폭

python test.py --name TTTT --dataset_mode custom 
--label_dir TTTT/train_label 
--image_dir TTTT/train_img 
--dataroot TTTT --load_from_opt_file 
--gpu_ids -1