Optical Flow

📌Optical Flow?

• 광학흐름을 Optical Flow라고 하며 획득한 이미지 데이터에서의 연속된 프레임으로 표현되는 물체의 움직음 혹은 카메라 움직임을 나타내는 패턴이라 말할 수 있다.

응용 분야

🎥 Structure From Motion

• 움직이는 카메라로 3D 구조를 복원하는 기술이며 2D영상을 가지고 3D 공간 정보를 추정하는 기술임.

🎥 Video Compression

• 중복된 정보는 버리고 필요한 정보만 남겨 영상 용량을 줄이는 기술이며 프레임 사이의 변화만 기록해서 영상 파일을 작게 만드는 기술임.

🎥 Video Stabilization

• 흔들린 영상을 부드럽게 보정하는 기술이며 카메라가 흔들렸을 때 영상을 자동으로 안정적으로 보정하는 기술임.

📌 Lucas-Kanade Optical Flow 방법

📖 개념 요약
Lucas-Kanade 방법은 Optical Flow를 추정하는 대표적인 기법 중 하나로,
이웃한 픽셀들은 비슷한 움직임을 가진다"는 가정을 기반으로 한다.

추적하려는 한 점 주변의 3×3 패치(총 9개 픽셀)를 사용하여,
이 9개 픽셀이 모두 동일한 움직임을 가진다고 가정한다.

각 픽셀에 대해 영상의 기울기 (Ix, Iy)와 시간에 따른 밝기 변화량 (It)을 계산하면,
2개의 미지수(vx, vy)에 대해 9개의 방정식이 생긴다.

이는 과잉 결정(over-determined) 시스템이므로,
최소제곱법(Least Squares Method)을 사용하여 가장 적합한 해를 구한다.

Lucas-Kanade 방법은 작은 움직임에는 강하지만, 큰 움직임이 있는 경우에는 잘 작동하지 않는다. 이를 해결하기 위해서는 피라미드(Pyramid)를 사용한다. 이는 상위 피라미드에서는 큰 움직이도 작아보이기 때문에, Lucas-Kanade를 적용하기 더 쉬워진다.
하위 단계로 내려가면 점점 더 정밀한 Optical Flow를 추정한다.

💻python 구현

nextPts, status, err = cv2.calcOpticalFlowPyrLK(prev_img, next_img, prev_pts, None, **params)

• prev_img, next_img: 이전/다음 프레임
• prev_pts: 추적하고 싶은 포인트 (예: Shi-Tomasi 코너)
• nextPts: 추적된 포인트 위치
• status: 추적 성공 여부 (1: 성공, 0: 실패)

optical Flow_특징점 추적.py

• 함수 정리

cap은 cv.videoCapture()로 열어둔 영상 객체로 한 프레임을 cap.read()는 한 프레임을 읽어옴
goodFeaturesToTrack()는 영상에서 추적할 만 한 좋은 코너점들을 자동으로 찾아줌

optical Flow_시각화.py