Frame Rate Up Conversion (FRUC)

FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation

https://arxiv.org/abs/2012.08512
https://github.com/tarun005/FLAVR
Frame 2배 기준 약 23분

Real-Time Intermediate Flow Estimation for Video Frame Interpolation

https://arxiv.org/abs/2011.06294
https://github.com/hzwer/ECCV2022-RIFE
Frame 2배 기준 약 5분

NVIDIA Optical Flow SDK 5.0

https://developer.nvidia.com/optical-flow-sdk

CMAKE build

https://developer.nvidia.com/opticalflow/download Optical Flow SDK 5.0 설치
SDK_PATH\NvOFFRUC\NvOFFRUCSample 경로에 build 폴더 생성
Developer PowerShell for VS 2019 실행

cd build
cmake -G "Visual Studio 16 2019" -A x64 ..
cmake --build . --config Release --target INSTALL

SDK_PATH\NvOFFRUC\NvOFFRUCSample\bin\win64 폴더에 NvOFFRUCSample.exe 생성됨

ffmpeg 설치

https://www.gyan.dev/ffmpeg/builds/ ffmpeg-*-full_build-shared.7z 파일 설치 및 압축해제

cd ffmpeg_PATH\bin

input mp4 파일 yuv로 변환

./ffmpeg –i INPUT_PATH\name.mp4 -c:v rawvideo -pix_fmt yuv420p OUTPUT_PATH\name.yuv

FRUC 적용

cd SDK_PATH\NvOFFRUC\NvOFFRUCSample\bin\win64
./NvOFFRUCSample.exe --input=INPUT_PATH\name.yuv --width=1280 --height=960 --output=OUTPUT_PATH/name.yuv

output yuv 파일 mp4로 변환

cd ffmpeg_PATH\bin
./ffmpeg -f rawvideo -pix_fmt yuv420p -s 1280x960 -r 30 -i INPUT_PATH\name.yuv -c:v libx264 OUTPUT_PATH\name.mp4

Frame 2배 기준 (2배 밖에 제공되지 않음) 약 5초 소요, 속도는 빠르나 위 두 모델에 비해 품질이 떨어짐