일러스트 러프를 선화로 바꿔주는 모델 학습

동기

• 캐릭터 일러스트 그리는 과정은 큰 범위로 러프 → 선화 → 채색으로 나눌 수 있다.
• 여기서 '선화'는 러프의 지저분한 선을 정리하고 강조할 부분을 강조하는 과정이다.
• 때문에 선화는 채색에 들어가기 전 전처리 과정이므로, 노동집약적이며 창의적인 활동이 아니다.
• 이 과정을 자동화할 경우 작가는 시간을 절약하고, 그 시간을 창의 활동에 투자하여 생산성이 올라갈 것이다.

기간

• 2025.02.14 - 2025.02.28

모델

• Fully Convolutional Network

학습

• Epoch: 10000
• Batch size: 1024
• Loss function: MSE
• Optimizer: Adam
• ReLU 대신 Cone 사용 (ReLU 보다 좋은 성능)
• 학습 안정화와 일반화를 위해 Normalize(mean=0.5, std=0.5)와 Dropout(0.25) 사용

데이터셋

• 러프, 선화 쌍 12개 (여자친구 제공)
• 데이터 증강 (RandomCrop, RandomHorizontalFlip, RandomRotation, RandomAffine)

결과

• Input (여자친구의 개인 작품이기 때문에 비공개)

• Epoch 1

  • 아무 결과도 안나옴
    

• Epoch 100

  • 아무 결과도 안나옴
    

• Epoch 500

  • 약간의 결과가 나오지만 형태를 알아볼 수 없음
    

• Epoch 700

  • 러프의 윤곽이 보이는 것을 확인
    

• Epoch 1000

  • 선이 얇아지는 것을 확인
    

• Epoch 1500

  • 전체적인 러프의 윤곽이 들어나며 선 또한 얇아지는 것을 확인
    

• Epoch 2000

  • 더 세밀한 선을 포착하는 것을 확인 (앞머리, 치마 주름)
    

• Epoch 3000

  • 선이 얇아지고 계단 현상이 줄어든 것을 확인
    

• Epoch 4000

  • 선이 얇아지고 더욱 연속적으로 변하는 것을 확인
    

• Epoch 5000

  • 선이 더 얇아진 것을 확인
    

• Epoch 10000

  • 선과 배경의 구분이 강해진 것을 확인
    

• 불연속적인 선을 정리해주는 것을 확인
  
  

• 정리 못하는 경우도 있는데, 이는 데이터 및 학습 부족이 원인이라고 생각
  

결론

• 불연속적이거나 지저분한 선을 정리해줄 수 있다.
• 하지만, 선이 모두 일정한 두께라는 문제점이 존재. 일러스트에서는 필압 표현이 중요한데, 이를 살리지 못하고 있음. 이러한 이유로 본 논문에서는 연필과 같은 전통적인 스케치의 노이즈를 줄여주는 것에 집중했다고 생각.
• 또한 모든 선을 표현하는 경향이 있는데, 이는 학습 데이터에 따라 다른 것 같다고 생각 (지저분한 선이 많고 구도를 위한 선이 포함된 러프로 학습할 경우, 지저분한 선과 구도를 위한 선을 제외한 필요한 선만 남길 것이라 생각)

Reference

• Simo-Serra, E., Iizuka, S., Sasaki, K., & Ishikawa, H. (2016). Learning to simplify: Fully convolutional networks for rough sketch cleanup. ACM Transactions on Graphics, 35(4), 1-11