ControlNet [24.08 WG Seminar]

0. Review Objective

• 8월 WG 세미나 발표의 메인 논문중 하나. CIS에서 주목을 많이 받음
• 23년도에 나왔으면서 인용수 2000 다 되가는게 (24/07/23 기준 1979) 엄청 네임드라서
• stable diffusion에다가 더 세부적인 제어를 해주는 (공간적 constraint) 방법
• 데모가 굉장히 많이 제공되고 있다!
  
• 모두의 연구소 리뷰

1. Introduction

• ControlNet: 사전학습된 text-to-image diffusion모델에다가 spatial conditioning control을 더한 NN
• large-scale pre-trained model에다가 conditional control을 가르치려고 end-to-end로 fine-tuning하는 것은 매우 어렵다; control을 위한 데이터셋들은 보통 LAION-5B에 비해 5만배 정도 적고, 이는 overfitting과 catastrophic forgetting을 유도하기 때문에
• ControlNet은 diffusion을 lock한 백본과 그걸 복제한 학습가능한 부분으로 구성되어 있다.
• 두 네트워크는 zero convolution으로 연결되어 있어, 해로운 노이즈가 finetuning에 영향주지 않는다.
• Conditioning: edges, depth, segmentation, human pose 등 가능

2. Related Work