CNN: GAN(Generative Adversarial Networks) 이란?

Ohback·2025년 3월 24일

CNN gan style transfer learning 스타일 전이 학습 적대적생성신경망

SK 네트웍스 Family AI camp

목록 보기

57/73

GAN(Generative Adversarial Networks)은 한동안 뉴스에 자주 등장했던 딥페이크(Deepfake)라는 기술의 핵심이 되는 딥러닝 생성 모델로 우리말로 적대적 생성 신경망이라고 불리며 이름이 다소 복잡하지만, 원리는 의외로 간단하다. 핵심은 두 개의 AI(Generator, Discriminator)가 서로 경쟁하면서 점점 더 뛰어난 결과물을 만들어내는 구조이다.

1. 생성자 (Generator)

진짜처럼 보이는 가짜 데이터를 만들어내는 역할로, 실제와 구분하기 어려운 이미지나 음성을 생성한다.

역할: 가짜 데이터를 만들어내는 전문가
예시: 진짜 같은 가짜 사진 생성, 사람 목소리를 흉내 내는 오디오 제작
목표: 감별자를 속여서 "이건 진짜야!" 라고 믿게 만들기

2. 감별자 (Discriminator)

입력된 데이터가 진짜인지 가짜인지 판별하는 역할을 한다.

역할: 데이터가 진짜인지 가짜인지 구별하는 전문가
예시: “이 사진은 진짜 사람이 찍은 건가, AI가 만든 건가?” 판단
목표: 생성자가 만든 가짜를 끝까지 잡아내기

3. 작동 방식

생성자는 감별자를 속이기 위해 점점 더 정교하게 데이터를 만들고, 감별자는 그런 생성자의 속임수를 간파하기 위해 더욱 똑똑해진다. 이 경쟁이 반복되면, 결국 생성자는 감별자조차 헷갈릴 만큼 고품질의 데이터를 생성하게 되는 것이다.

[1] 노이즈 생성 (Random Noise)
    ↓
[2] 생성자(Generator)가 가짜 데이터 생성
    ↓
[3] 감별자(Discriminator)에 데이터 전달
        ├─ 진짜 데이터 → 감별자는 "진짜"라고 판단
        └─ 가짜 데이터 → 감별자는 "가짜"라고 판단
    ↓
[4] 피드백
    ├─ 감별자는 판별 정확도를 높이도록 학습
    └─ 생성자는 감별자를 속이도록 학습
    ↓
[5] 반복 학습
    └─ 둘 다 점점 발전 → 현실적인 데이터 생성

4. GAN의 응용기술

GAN이 가장 눈에 띄게 쓰이는 곳은 이미지 생성 분야이고, 그중에서도 딥페이크와 사진/영상 변환이 대중적으로 가장 많이 알려져 있음. 하지만 산업적으로는 데이터 부족 문제를 해결하는 용도로도 매우 활발하게 활용되고 있다.

(1) 이미지 생성 및 변환

딥페이크(Deepfake)
실제 인물의 얼굴이나 목소리를 합성하는 기술의 핵심이 GAN임.
주로 영상 속 인물 얼굴 교체, 입모양과 음성 싱크 맞추기 등에 사용됨.
스타일 변환(Style Transfer)
사진을 특정 화풍(예: 피카소, 반 고흐 스타일)으로 바꾸거나 낮 사진을 밤 사진으로 변환
고해상도 변환(Super Resolution)
저화질 이미지를 고화질로 업스케일링

(2) 데이터 증강(Data Augmentation)

의료 영상: MRI, CT 등에서 부족한 데이터 보완
자율주행: 비 오는 날, 눈 오는 날 같은 다양한 환경 데이터를 가상 생성해 학습 데이터 강화
희귀 데이터 생성: 드물게 발생하는 상황(예: 특정 기계 고장 패턴)을 인공적으로 만들어 모델 훈련

(3) 엔터테인먼트 & 콘텐츠 제작

게임 아트 생성: 캐릭터, 배경, 아이템 디자인 자동 생성
패션 산업: 가상의 모델이 옷을 입은 모습 생성
음악 생성: 특정 장르나 악기 스타일을 흉내 내는 음악 생성

5. 스타일 전이 학습 (Style Transfer Learning)

스타일 전이 학습은 한 이미지의 ‘스타일(화풍, 색감, 질감)’을 다른 이미지의 ‘내용(구도, 형태)’에 입히는 기술로, 내 사진(내용 이미지)에 피카소 그림의 화풍(스타일 이미지)을 적용해서 "피카소가 그린 내 사진"처럼 변환하는 기술이다.

(1) 작동 방식

컨볼루션 신경망(CNN)의 특징 추출 능력을 활용하여 한 이미지에서 내용(Content Feature), 다른 이미지에서 스타일(Style Feature)를 분리·분석한 뒤, 두 특징을 합성하는 방식으로 동작한다.

(2) GAN vs 스타일 전이 학습

구분	스타일 전이 학습	GAN
목표	기존 이미지를 변형하여 새로운 스타일 적용	완전히 새로운 데이터 생성
데이터 필요성	주로 학습된 CNN 모델과 두 장의 이미지로 가능	대량의 학습 데이터 필요
학습 구조	단일 네트워크(CNN) 또는 사전 학습된 모델 사용	생성자(Generator)와 감별자(Discriminator) 두 네트워크 경쟁
출력 형태	원본 구조 + 새로운 스타일	완전한 가짜 데이터
예시	사진 → 피카소 화풍 변환	무에서 새로운 얼굴 생성