ABSTRACT

생성적 적대 네트워크(GAN)는 안정적으로 훈련하는 데 어려움을 겪고 있으며, 판별기 입력에 인스턴스 노이즈를 주입하는 유망한 치료법은 실제로 그다지 효과적이지 않았다. 본 논문에서는 전방 확산 체인을 활용하여 가우스 혼합 분산 인스턴스 노이즈를 생성하는 새로운 GAN 프레임워크인 확산-GAN을 제안한다. 확산-GAN은 적응 확산 과정, 확산 시간 단계 의존 판별기, 생성기를 포함한 세 가지 요소로 구성된다. 관찰된 데이터와 생성된 데이터 모두 동일한 적응 확산 프로세스에 의해 확산된다. 각 확산 시간 단계에서 데이터 대비 노이즈 비율이 다르며 시간 단계 종속 판별기는 확산된 실제 데이터와 확산된 생성된 데이터를 구별하는 방법을 학습한다. 생성기는 소음과 데이터 수준의 균형을 맞추기 위해 길이가 적응적으로 조정되는 전방 확산 체인을 통해 역전파함으로써 판별기의 피드백으로부터 학습한다. 우리는 이론적으로 판별기의 시간 단계 의존 전략이 생성기에 일관되고 유용한 지침을 제공하여 실제 데이터 분포와 일치할 수 있음을 보여준다. 우리는 다양한 데이터 세트의 강력한 GAN 기준선에 비해 확산-GAN의 장점을 보여줌으로써 최첨단 GAN보다 안정성과 데이터 효율성이 높은 보다 현실적인 이미지를 생성할 수 있음을 보여준다.

1 Introduction

2020년 초신적 적대 네트워크(GAN)는 2020년, 2018년, 2019년, 2019년, 2019년)의 성공적인 사진 제작을 달성했다. 그러나 GAN은 2017년 Mode, 2017년 메치스키와 훈련 불안정성 등 다양한 문제에 시달리는 것으로 알려져 있다. 결과적으로, 2017년 6월, 2016년, 2020년 6월 6일 ~ )는 GAND, 2019년 에 참가했다.2017년 12월, 알렌, 2017년, 알드, 2018년 ~ 2018년 ~ 2018년 ~ )는 중화인민공화국의 정치인이다. 2016년 8월, 2020년 8월, 장마오, 2020년 8월 5일 ~ 2020년 8월 5일 ~ )는 2016년 8월 5일 ~ )는 2016년 8월, 2011년 8월 GAN 훈련을 안정시키기 위한 간단한 기술은 예를 들어, 2017년 생성기 및 차별화를 위한 간단한 기술은 2017년 기준 및 차별화를 방지할 수 있다. 그러나 이 기술은 적절한 소음 분포를 찾는 데 어려움이 있다. 로트. [17] 높은 차별주의 입력에 대한 인스턴스 소음을 추가하는 것을 보여준다. 이 접근법은 일반적으로 우리의 지식을 가장 잘하기 위해서는 기존 작업 GAN 훈련에서 인스턴스 노이즈 데이터를 경험적으로 시연할 수 있는 기존 작업이 없습니다. GAN 훈련을 용이하게 할 수 있는 적절한 인스턴스 소음을 주입하려면 확산 프로세스를 사용하는 확산 프로세스를 사용하여 가우스-GAN을 소개한다. 그림 1에서 확산-GAN의 그래픽 표현을 보여줍니다. 확산-GAN에서 확산 공정에 대한 입력은 실제 이미지이거나 생성된 이미지이며, 확산 공정은 이미지에 노이즈를 점진적으로 추가하는 일련의 단계로 구성된다. 확산 단계의 수는 고정되어 있지 않지만 데이터와 생성기에 따라 다릅니다. 우리는 또한 확산 과정이 차별화되도록 설계하는데, 이는 입력과 관련하여 출력의 gradient를 계산할 수 있다는 것을 의미한다. 이를 통해 확산 과정을 통해 판별기에서 생성기로 기울기를 전파하고 그에 따라 생성기를 업데이트할 수 있다. 실제 이미지와 생성된 이미지를 직접 비교하는 바닐라 GAN과 달리, 확산-GAN은 확산 단계에 걸친 가우스 혼합 분포에서 샘플링하여 얻은 노이즈가 많은 버전을 시간 단계 의존 판별기의 도움을 받아 비교한다. 이 분포는 성분이 서로 다른 노이즈 대 데이터 비율을 갖는 특성이 있으며, 이는 일부 성분이 다른 성분보다 노이즈를 더 많이 추가한다는 것을 의미합니다. 이 분포로부터 샘플링함으로써, 우리는 두 가지 이점을 얻을 수 있다: 첫째, 우리는 데이터와 생성기 분포가 너무 다를 때 발생하는 사라지는 기울기 문제를 완화함으로써 훈련을 안정화할 수 있다; 둘째, 우리는 동일한 이미지의 서로 다른 노이즈가 많은 버전을 생성하여 데이터를 증가시킬 수 있다. 이는 데이터 효율성을 향상시킬 수 있다.d 발전기의 다양성. 우리는 우리의 방법을 뒷받침하는 이론적 분석을 제공하고, 데이터와 발전기 분포의 차이를 측정하는 확산-GAN의 최소-최대 목적 함수가 어디에서나 연속적이고 차별화 가능하다는 것을 보여준다. 이것은 이론상 생성자가 항상 판별기로부터 유용한 구배를 받을 수 있고, 그 성능을 향상시킬 수 있다는 것을 의미한다.