Nuke - CopyCat

Nuke13.0 버전부터 제공되는 Node로, 머신러닝을 통해 사용자가 직접 모델을 훈련시켜 다양한 작업에 활용할 수 있도록 지원하는 도구이다.

CopyCat 공식 링크

작성 환경

• NukeX 15.1v5 (Nuke13.0 부터 지원)

  CopyCat 업데이트 관련 영상

• Windows 10

주요 기능

• 가비지 매트 생성 (Garbage Matte):

  https://youtu.be/OEaqtZ0_7jQ?si=4RdTe2dm1uElA7Hz

  일부 프레임에서 수동으로 매트를 생성하고, 이후 CopyCat을 사용하여 전체 시퀀스에 동일한 매트를 자동으로 생성합니다.
  이를 통해 일관성 있는 매트를 빠르게 생성할 수 있습니다.
  

• 뷰티 작업 (Remove, Beauty)):

  https://youtu.be/pwe6WakkAuc

  피부 결점 제거, 얼굴 미세 조정 등의 뷰티 작업을 일부 프레임에 적용한 후, CopyCat을 사용하여 전체 시퀀스에 자동으로 적용합니다.
  시간이 오래 걸리는 뷰티 작업을 자동화하여 효율성을 높입니다.
  

• 디블러링 (Deblur):

  https://youtu.be/AZOoXtye1og?si=wOo-RqK78afUR6C1

  특정 프레임에서 블러를 제거한 후, CopyCat을 사용하여 동일한 디블러링 작업을 전체 시퀀스에 적용합니다.
  이 작업은 훈련된 모델을 사용하여 블러를 정확하게 제거할 수 있습니다,
  

노드(Node) 설명

• CopyCat Node Input
  • Input: 효과 적용 전의 원본 데이터
  • Ground Truth: 효과 적용 후의 기대 결과 데이터

CopyCat 노드는 Input과 Ground Truth를 입력받아 효과 적용 전후의 관계를 학습합니다.

두 값은 반드시 동일한 포맷과 크기를 유지해야 하며, 다양한 데이터셋을 활용하면 모델의 일반화 성능이 향상됩니다.

옵션(Knob) 설명

CopyCat Tab

CopyCat 노드에서 진행할 훈련에 대한 설정들이 모여있는 탭

Basic (기본):

• Local GPU (로컬 GPU): 사용 가능한 경우, 렌더링에 사용되는 GPU를 표시합니다.
• Use GPU if available (사용 가능한 경우 GPU 사용): 활성화하면, 사용 가능한 경우 GPU를 사용하여 렌더링합니다.
• Data Directory (데이터 디렉토리): CopyCat이 결과물과 .cat 파일을 저장하는 위치를 설정합니다.
• Epochs (학습 횟수): 데이터 세트를 학습하는 횟수를 설정합니다. 높은 값은 더 나은 결과를 제공할 수 있지만, 처리 시간이 길어집니다.
• Channels (채널): Input과 Ground Truth 간의 채널을 설정합니다.
• Batch Size (그룹 크기): 전체 데이터 셋 대비 소그룹에 해당하는 데이터 세트의 수를 의미합니다. 가용한 GPU 메모리를 사용해 자동으로 계산됩니다.
• Total Steps (총 스텝): 지정된 Epochs를 완료하는데 필요한 단계의 값을 표시합니다.
• Start Training (학습 시작): 현재 설정을 사용하여 네트워크 학습을 시작합니다.
• Resume Training (학습 재개): 이전에 저장된 체크포인트에서 학습을 재개합니다.
• Create Inference (추론 생성): 현재 CopyCat 노드의 .cat 파일을 참조하는 Inference 노드를 생성합니다.

Advanced (고급):

• Initial Weights (초기 가중치): 학습 시작 시 사용할 초기 가중치를 설정합니다.
  • None (없음): 가중치 없이 처음부터 학습을 시작합니다.
  • Checkpoint (체크포인트): 이전에 학습된 .cat 파일의 가중치를 사용하여 학습을 시작합니다.
  • Deblur (디블러): 디블러(흐림 제거) 효과에 최적화된 가중치를 사용하여 학습을 시작합니다.
  • Upscale (업스케일): 업스케일링에 최적화된 가중치를 사용하여 학습을 시작합니다.
  • Human Matting (휴먼 매팅): 사람의 매팅 작업에 최적화된 가중치를 사용하여 학습을 시작합니다.
• Checkpoint File (체크포인트 파일): Initial Weights가 Checkpoint로 설정된 경우, 사용할 .cat 파일의 경로를 지정합니다.
• Model Size (모델 크기): Small, Medium, Large 옵션이 있으며, 모델의 크기가 커질수록 더 나은 결과를 도출할 수 있지만 더 많은 메모리를 사용하고 더 오랜 시간이 걸릴 수 있습니다.
• Batch Size (배치 크기): 각 Epoch에서 학습에 사용할 이미지 쌍의 수를 설정합니다. 기본적으로 GPU 메모리를 기반으로 자동 계산되며, 수동으로 설정할 수도 있습니다. 일반적인 스크립트에서는 4에서 16 사이의 값을 권장합니다.
• Crop Size (크롭 크기): 학습 중 사용할 이미지 크기를 설정합니다. 기본값은 256입니다.
• Checkpoint Interval (체크포인트 간격): 학습 과정에서 모델의 상태를 .cat 파일로 저장하는 주기를 설정합니다. 예를 들어, 1000으로 설정하면 학습 중 매 1000 스텝마다 체크포인트가 저장됩니다.
• Contact Sheet Interval (컨택트 시트 간격): 학습 진행 상황을 모니터링하기 위해 출력 결과를 포함한 컨택트 시트를 .png 파일로 저장하는 주기를 설정합니다. 기본값은 100 스텝마다 저장되며, 이 값은 사용자가 조정할 수 있습니다.
• Use Multi-Resolution Training (다중 해상도 학습 사용): 이 옵션을 활성화하면, 모델이 입력과 실제 값을 다양한 해상도로 학습하여 더 효율적인 학습을 할 수 있습니다. 학습 초기에는 낮은 해상도로 시작하여 점진적으로 해상도를 높여가며 학습합니다.

Progress Tab

로컬 및 원격으로 진행 중인 분산 또는 단일 훈련의 정보를 표시하는 탭

Progress (진행도):

• Runs (실행):
  • Run Table: 데이터 디렉토리에서 모든 학습 실행 데이터를 표시하며, 각 실행의 곡선을 개별적으로 활성화하거나 비활성화할 수 있습니다.
    데이터 디렉토리 내 파일 이름을 더블 클릭하여 원하는 이름으로 변경할 수 있습니다.
• Live Updates (실시간 업데이트):
  • 활성화되면 분산 학습 네트워크에서 실시간 학습 데이터를 가져와 학습 진행 상황을 확인할 수 있습니다.
  • 기본적으로 로컬 머신에서 학습할 때는 이 기능이 영향을 미치지 않습니다.
• Graph (그래프):
  • Log Scale (로그 스케일):
    • 그래프의 y축을 선형에서 로그 스케일로 변환하여, 학습 초기 값에서 더 많은 세부사항을 확인할 수 있습니다.
  • Smoothness (부드러움):
    • 손실 곡선의 부드러움을 조절합니다. 값이 낮으면 데이터 포인트가 더 정확해지지만 전체적인 추세를 읽기 어려울 수 있습니다.
  • Show Original Curve (원본 곡선 표시):
    • 원본 그래프(스무딩 전)를 표시합니다. 이를 통해 원본과 부드러운 그래프를 동시에 비교할 수 있습니다.
• Graph (그래프) 표시:
  • 지정된 데이터 디렉토리에서 학습의 Step/Loss 데이터를 표시합니다.
  • 그래프 상단에 있는 확대/축소 컨트롤을 사용하여 실시간으로 학습 상태를 모니터링할 수 있습니다.

Python Tab

훈련 진행 도중 특정 이벤트에 따라 자동으로 파이썬 함수를 호출하는 탭

• before render (렌더링 시작 전): execute() 함수가 실행되기 전에 호출되는 함수들입니다. 예외가 발생하면 렌더링이 중단됩니다.
• before each frame (각 프레임 렌더링 전): 각 프레임 렌더링을 시작하기 전에 호출되는 함수들입니다. 예외가 발생하면 렌더링이 중단됩니다.
• after each frame (각 프레임 렌더링 후): 각 프레임 렌더링이 완료된 후 호출되는 함수들입니다. 렌더링이 중단되면 호출되지 않으며, 예외가 발생하면 렌더링이 중단됩니다.
• after render (렌더링 완료 후): 모든 프레임 렌더링이 끝난 후 호출되는 함수들입니다. 예외가 발생하면 렌더링이 중단됩니다.
• render progress (렌더링 진행 상태): 렌더링 진행 중에 호출되는 함수들로, 진행 상태나 실패 여부를 확인할 수 있습니다.

CopyCat의 기대효과

1. 효율적인 반복 작업 자동화:
   • 학습된 모델 활용: CopyCat 노드는 기존의 학습된 모델을 사용하여 반복적이고 시간이 많이 소요되는 작업을 자동화할 수 있습니다.
   • 훈련된 모델을 통한 정확도 향상: 여러 훈련된 모델을 선택하여 특정 효과에 최적화된 작업을 빠르고 정확하게 적용할 수 있습니다. 이는 장면에 최적화된 효과를 자동으로 적용해 주므로 작업 시간을 크게 단축시킵니다.
2. 효율적인 리소스 활용:
   • GPU 활용: CopyCat은 GPU를 활용하여 학습과 렌더링 속도를 높여주며, 이로 인해 대규모 데이터셋을 처리하는 데 필요한 시간이 줄어듭니다.
   • 멀티 해상도 학습: 여러 해상도로 훈련을 진행하여 다양한 해상도의 작업을 효율적으로 처리할 수 있습니다.
3. 다양한 작업에 대한 일반화 가능성:
   • 다양한 작업에 적용 가능: CopyCat은 디블러, 업스케일, 휴먼 매팅 등 다양한 분야에 최적화된 모델을 제공하며, 한 번 학습된 모델을 다른 프로젝트나 작업에 재사용할 수 있어 작업의 일관성과 품질을 높입니다.
   • 입력/출력 데이터 간의 관계 학습: 효과 적용 전과 후의 데이터를 기반으로 모델이 학습되므로, 다양한 작업에서 기대하는 효과를 더 일관되게 얻을 수 있습니다.
4. 시간 절약 및 비용 절감:
   • 훈련 시간 단축: 복잡한 작업을 수동으로 작업하는 데 드는 시간을 크게 줄여줍니다. 학습된 모델을 사용하여 반복적인 작업을 빠르게 처리할 수 있으며, 분산 학습을 통해 훈련 시간을 단축할 수 있습니다.
   • 인력 비용 절감: 자동화된 학습 모델을 사용하면, 반복적이고 시간이 많이 소요되는 작업을 줄여줄 수 있어 인적 자원을 다른 작업에 배분할 수 있습니다.

CopyCat의 한계

1. 데이터 품질에 의존:
   • 훈련 데이터셋 품질의 중요성: CopyCat은 훈련 데이터셋에 큰 의존성을 가집니다. Input과 Ground Truth 데이터가 정확하고 품질이 높은 경우에만 좋은 성능을 발휘할 수 있습니다. 잘못된 또는 불완전한 데이터로 학습하면 결과물이 왜곡되거나 기대에 미치지 못할 수 있습니다.
   • 다양성 부족: 훈련 데이터셋이 제한적이거나 특정 유형의 데이터만 포함되어 있으면 모델의 일반화 성능이 떨어질 수 있습니다. 다양한 조건과 변수를 다루기 위한 방대한 데이터셋이 필요합니다.
2. 긴 훈련 시간:
   • 학습 시간: CopyCat은 모델을 훈련시키는 데 시간이 상당히 소요될 수 있습니다. 특히 대규모 데이터셋과 복잡한 작업을 다룰 때 훈련 시간이 길어질 수 있습니다.
   • 훈련 초기 단계에서의 성능: 모델이 처음 학습을 시작할 때는 그 성능이 낮을 수 있고, 많은 학습이 필요합니다. 최적의 성능을 얻기까지 많은 반복 학습과 검증이 필요할 수 있습니다.
3. GPU 리소스 소모:
   • 고사양 하드웨어 요구: CopyCat은 GPU를 적극적으로 활용하지만, 고성능 GPU가 없으면 훈련 시간이 많이 늘어나거나 제대로 작동하지 않을 수 있습니다. 특히 복잡한 모델을 학습할 때는 고급 GPU 하드웨어가 필수적일 수 있습니다.
   • 메모리 부족 문제: 모델 크기나 데이터셋이 커질수록 GPU 메모리 용량이 부족해질 수 있습니다. 이를 해결하기 위해 모델을 축소하거나 더 많은 메모리를 가진 시스템을 사용해야 할 수도 있습니다.
4. 학습 데이터와 실제 데이터 간의 차이:
   • 실제 환경에서의 예기치 않은 결과: 학습 데이터셋과 실제로 적용될 환경 사이에 차이가 있을 경우, 모델이 예기치 않게 동작할 수 있습니다. 예를 들어, 훈련에 사용된 데이터가 매우 이상적일 경우, 실제 프로덕션에서 발생할 수 있는 다양한 변수에 대응하지 못할 수 있습니다.
5. 특정 조건 하에서만 최적화:
   • 특화된 용도에만 적합: CopyCat은 특정 작업(예: 디블러, 업스케일 등)에 특화된 모델을 제공하지만, 모든 종류의 VFX 작업에 적합하지 않을 수 있습니다. 예를 들어, 특정 스타일이나 복잡한 이펙트에는 잘 적용되지 않을 수 있습니다.