Out Painting이라는 개념을 처음 접했을 때 꽤 흥미로웠다.
이미지를 잘라내거나 비율을 바꿔야 할 때 배경을 AI가 자연스럽게 채워준다는 거니까.
직접 써보기 전에 개념부터 잡고, 상용 서비스들을 하나씩 테스트해봤다.
Out Painting이란
원본 이미지의 사이즈를 변경해야 할 때, 없는 배경을 자연스럽게 생성해주는 기술이다.
예를 들어 16:9 이미지를 9:16으로 바꿔야 할 때, 원본 바깥 영역을 AI가 추론해서 채워준다.
직접 테스트해봤다
원본 사진에서 일부를 잘라낸 뒤, 잘린 이미지로 원본을 복원할 수 있는지 여러 서비스에서 테스트했다.
-
원본 사진
-
원본 사진 일부 추출 (캡처)
PromeAI
- PromeAI 결과 화면
Pixelcut
- Pixelcut 결과 화면
CapCut
- CapCut 프롬프트 화면
- CapCut 프롬프트 입력 후 결과 화면
세 서비스 모두 사진이 완벽하게 복구되진 않았고, 퀄리티가 조금씩 아쉬웠다.
그 중 CapCut은 프롬프트를 함께 입력할 수 있어서 다른 서비스보다 조금 더 나은 결과를 받을 수 있었다.
Gemini
-
Gemini Out Painting 프롬프트 화면
-
Gemini 생성 이미지
Stable Diffusion으로도 해봤다
상용 서비스 외에 Stable Diffusion으로도 직접 돌려봤다.
-
원본 산 풍경 사진
-
Stable Diffusion Out Painting 설정 화면
-
Stable Diffusion Out Painting 결과
완벽하게 모방하진 못하지만 어느 정도의 자연스러움은 유지하면서 확장됐다.
문제는 속도였다
이미지 한 장 확장에 CPU 기준으로 약 3분이 걸렸다.
영상으로 확장하면 어떻게 될까 계산해봤다.
| fps | 1분 영상 프레임 수 |
|---|---|
| 24fps (영화) | 1,440개 |
| 30fps (일반 영상) | 1,800개 |
| 60fps (고화질) | 3,600개 |
24fps 1분짜리 클립을 Out Painting 한다고 하면:
1,440 프레임 × 3분 = 4,320분72시간이 넘는다 !
GPU로 시도해봐야 한다는 결론이 나왔다.
과연 영상으로 이 과정을 처리할 수 있을까 ?
다음 편에서는 Video Out Painting을 다룬 논문을 분석한다.
세로 영상을 가로로 변환하는 문제를 어떻게 접근했는지, 핵심 아이디어가 뭔지 정리해볼 예정이다.
