Optical Flow

• https://velog.io/@yoorachoi/컴퓨터-비전-Optical-Flow-Lukas-Kanade-Method-중심의-개념-OpenCV-구현 이 글, 언젠가는 공부해보자!

개념

• Optical Flow
  • 비디오 또는 이미지 시퀀스에서 물체의 움직임을 추적하는 방법
  • 연속된 비디오 프레임 사이에서 각 픽셀의 움직임을 추적하는 기술
  • 구체적으로, 연속된 두 프레임 사이에서 각 픽셀의 움직임을 벡터 형태로 나타낸 것
• 이 벡터는 픽셀의 이동 방향과 속도를 나타냄

Optical Flow의 원리

• Optical Flow를 계산하는 기본 가정: 시간에 따라 변화하는 장면에서 픽셀의 밝기가 일정하게 유지된다는 것
• 이를 통해, 첫 번째 프레임에서의 픽셀 위치와 다음 프레임에서의 해당 픽셀 위치 사이의 변화를 계산할 수 있습니다.
  • Optical Flow는 이러한 변화를 벡터로 표현하여, 각 픽셀이나 물체가 어느 방향으로, 얼마나 빨리 움직이고 있는지를 나타냅니다.

1. 구체적 알고리즘

• Optical Flow를 계산하는 대표적인 방법: Lucas-Kanade 방법
• 이 방법은 작은 움직임이 있는 영상에서 잘 작동하며, 각 픽셀의 움직임을 전역적이 아닌 지역적으로 계산
• 여기서는 Lucas-Kanade 방법을 중심으로 Optical Flow를 계산하는 단계를 설명
• Lucas-Kanade 방법은 비교적 단순하면서도 효과적인 Optical Flow 계산 방법 중 하나
• 다만, 이 방법은 큰 움직임이나 복잡한 움직임 패턴을 가진 비디오에는 적합하지 않을 수 있으며, 이 경우 다른 방법(예: Horn-Schunck 방법)을 고려

1.1. Lucas-Kanade Optical Flow 방법

• Lucas-Kanade 방법은 다음과 같은 가정에 기반합니다:

1. 밝기 일관성 가정: 시간에 따라 픽셀의 밝기는 변하지 않는다.
2. 소규모 움직임 가정: 연속된 프레임 사이의 움직임은 작다.
3. 공간적 일관성 가정: 같은 객체의 일부인 주변 픽셀은 비슷한 움직임을 보인다.

1.2. Step by Step 구현

1.2.1. Step 1: 그레이디언트 계산

1.2.2. Step 2: 속도 벡터의 계산

1.2.3. Step 3: 최소 제곱 문제의 해결

1.2.4. Step 4: 움직임 벡터의 정제

• 실제 구현에서는 노이즈와 오류를 줄이기 위해 추가적인 정제 과정이 필요할 수 있습니다. 예를 들어, 움직임이 너무 크거나 작은 지점을 제거하거나, 이웃한 벡터들과의 일관성을 검사할 수 있습니다.

Optical Flow의 응용

• Optical Flow는 다양한 컴퓨터 비전 및 비디오 처리 작업에 활용됩니다. 주요 응용 분야는 다음과 같습니다:
• 동작 감지 및 추적: 비디오 내의 객체가 어떻게 움직이는지를 파악하고 추적합니다.
• 비디오 안정화: 비디오 촬영 시 발생하는 불필요한 진동이나 움직임을 제거하여 비디오를 안정화합니다.
• 3D 재구성: 여러 각도에서 촬영된 비디오를 사용하여 장면이나 객체의 3D 모델을 생성합니다.
• 실시간 스포츠 분석: 선수들의 움직임을 분석하여 기술적인 분석이나 경기 전략 수립에 활용합니다.

Optical Flow의 한계

• Optical Flow의 정확성은 여러 요인에 의해 영향을 받습니다.
• 예를 들어, 조명 변화, 가려짐, 비선형 움직임 등은 Optical Flow를 계산할 때 오류를 발생시킬 수 있습니다.
• 또한, 고해상도 비디오에서 Optical Flow를 계산하는 것은 계산 비용이 매우 높음
• 딥러닝 기반 접근법은 이러한 한계를 극복하고 Optical Flow의 정확성을 향상시키는 데 도움을 주고 있습니다.