VFI - 개요

'딥러닝 기반 비디오 프레임 보간 기술 연구 동향'와 김진솔님 블로그를 대부분 참조하여 작성하였습니다.

📌목차

1. Frame 개요
2. Frame Interpolation 개요

📕 Frame 개요

Frame 이란?

• 영상을 나누는 단위를 Frame이라고 함.
• Frame이 시간 축으로 모이면 영상이 되는 것
• Frame이 합쳐진 영상은 아래 그림 처럼 (x,y,t) 3차원으로 구성된다.
• 

📖 Frame 특성

영상은 1초당 몇번의 Frame을 다루는가에 따라서 FPS(Frame Per Second) 단위를 사용

• 예) 30FPS = 30Frame/Sec = 1초당 30개의 Frame(이미지)
• 보통 일반적인 영상은 30FPS 언저리 사용 (내 아이폰 영상이 그럼)

Frame은 다음 두가지 특성을 지님

• (1) 영상 일관성 : 특정 픽셀과 주변픽셀은 유사할것이다.
  - 예) : 특정 픽셀이 빨간색이라면, 주변 픽셀도 빨간색일것.
  

• (2) 시간 일관성 : f(x,y,t)와 f(x,y,t+1)은 유사할것이다.

  • f(x,y,t) : 시간(t), 위치(x,y)에서의 픽셀값
  • 픽셀값의 변경량이 작다는것은 이동량이 작다고 생각할 수 있음.
    

📕 Frame Interpolation 개요

비디오 프레임 보간(Video Frame Interpolation, 이하 VFI)

• 연속하는 두 개의 프레임 사이의 그 중간 프레임을 생성하는 기술
• 프레임율을 늘리거나 슬로우모션 생성시 사용

📖 전통적인 VFI

전통적인 VFI

• 플로우 추정(Optical Flow) : 물체의 움직임 추정
  - 광학흐름방정식을 이용
• 합성 단계

전통적인 VFI 이해

• 플로우 기반 알고리즘임.
• 객체의 움직임을 추정하고 추정된 위치의 주변 화소값을 가중평균하여 중간 프레임의 해당 화소를 생성함
• 큰 움직임, 밝기 변화등 부정확성이 존재
• 

📖 딥러닝적용된 VFI

2015년 VFI에 기술에 딥러닝 기술이 처음 적용된 논문이 발표됨

딥러닝 기반 VFI도 결국 플로우 추정과 합성단계로 이루어져있긴 하지만, 딥러닝 네트워크를 사용한다는 점이 차이점이다. 핵심은 딥러닝으로 배경/물체의 움직임을 얼마나 잘 추정하는지가 중요하다.

📖 딥러닝 기반 VFI 종류

종류는 크게 두가지로 구분됨

• 1. 플로우 기반 알고리즘
• 2. 커널(Kernel)기반 알고리즘
     - 2017년 Niklaus에 의해 처음 발표됨
  • 그 후 Separable이나 Deformable 등 개선된 알고리즘등이 발표되는 중
• 3. 기타

다음 글에서 관련 논문들을 알아보자

📚 Reference

딥러닝 기반 비디오 프레임 보간 기술 연구 동향