1. Entropy-based Selection
- 엔트로피 기반 선택(Entropy-based Selection)은 이미지의 정보량을 기반으로 중요한 키 프레임을 선택하는 방법
- 이 방식은 이미지 내의 정보의 다양성과 복잡성을 측정하기 위해 엔트로피라는 개념을 사용
- 엔트로피는 정보 이론에서 유래한 개념으로, 시스템의 무질서도나 불확실성의 정도를 수치화한 것
- 이미지 처리에서, 엔트로피는 이미지 내의 픽셀 값들의 분포가 얼마나 균등하게 퍼져 있는지를 나타내며, 이는 이미지가 포함하고 있는 정보의 양과 관련이 있음
1.1 엔트로피 계산 방법:
- 이미지의 엔트로피는 다음과 같이 계산할 수 있습니다:
- 픽셀 값의 확률 분포 계산:
- 먼저, 이미지 내의 모든 픽셀 값들에 대한 확률 분포를 계산
- 이를 위해 각 픽셀 값의 발생 빈도를 카운트하고, 전체 픽셀 수로 나누어 각 픽셀 값의 확률을 얻습니다.
- 엔트로피 값 계산:
- 각 픽셀 값의 확률을 사용하여 엔트로피를 계산합니다. 엔트로피 (H)는 다음 공식을 통해 계산됩니다:
엔트로피를 이용한 키 프레임 선택:
-
높은 엔트로피 값: 엔트로피 값이 높은 이미지는 픽셀 값들이 균등하게 분포되어 있으며, 다양한 정보를 많이 포함하고 있음을 의미합니다. 따라서, 엔트로피 값이 높은 이미지를 키 프레임으로 선택함으로써 정보량이 많은 프레임을 우선적으로 활용할 수 있습니다.
-
낮은 엔트로피 값: 반면, 엔트로피 값이 낮은 이미지는 픽셀 값들이 특정한 패턴을 이루거나 일정한 값을 가지는 경우가 많으며, 상대적으로 정보량이 적다고 볼 수 있습니다.
-
엔트로피 기반의 키 프레임 선택 방법은 이미지 시퀀스에서 정보량이 풍부한 프레임을 식별하는 데 유용
-
특히, 동적인 장면이나 복잡한 장면에서 변화나 이벤트의 중요한 순간을 포착하기 위해 사용될 수 있음
2. Mutual Information
- 상호 정보(Mutual Information, MI)는 두 변수 간의 정보 공유 정도를 측정하는 정보 이론에서 유래한 개념
- 이미지 시퀀스에서 키 프레임을 선택하는 맥락에서, 상호 정보는 두 이미지 간에 공유된 정보의 양을 측정하여, 이미지 간의 상관 관계와 변화의 중요성을 평가하는 데 사용
상호 정보의 기본 개념:
-
상호 정보는 두 확률 변수 (X)와 (Y)가 서로 독립적인 경우의 정보량과 실제 정보량의 차이로 정의
-
이는 (X)가 주어졌을 때 (Y)의 추가적인 정보량, 혹은 그 반대 경우를 나타냅니다. 수학적으로는 다음과 같이 표현됩니다:
-
-
여기서 (p(x, y))는 (X)와 (Y)의 결합 확률 분포, (p(x))와 (p(y))는 각각 (X)와 (Y)의 주변 확률 분포
-
로그의 밑은 2이며, 정보량은 비트(bit)로 측정됩니다.
이미지 시퀀스에서의 상호 정보 계산:
- 이미지 시퀀스에서 두 이미지 간의 상호 정보를 계산하기 위해,
먼저 각 이미지의 픽셀 강도 분포와, 두 이미지 간의 결합 분포를 추정 이 과정에서 이미지는 일반적으로 그레이스케일로 변환되어 분석
- 픽셀 강도 분포 계산: p(x), p(y)
각 이미지 내에서 픽셀 강도(예: 0~255의 그레이스케일 값)의 빈도를 계산하여 확률 분포를 생성- 히스토그램을 그립니다.
- 결합 분포 계산: p(x, y)
두 이미지 간에 같은 위치에 있는 픽셀 쌍의 강도 값을 기반으로 결합 확률 분포를 계산- 이는 두 이미지가 특정 강도 값의 픽셀을 동시에 얼마나 자주 가지고 있는지를 나타냅니다.
- 히스토그램 계산: 이 매핑 정보를 바탕으로, 특성 x와 y의 모든 가능한 조합에 대한 결합 히스토그램을 생성합니다. 이 히스토그램은 두 특성이 동시에 발생하는 빈도를 나타냅니다.
- 상호 정보 계산:
- 위에서 얻은 확률 분포를 사용하여 상호 정보 값을 계산합니다. 높은 상호 정보 값은 두 이미지 간에 상당한 양의 공유된 정보가 있음을 나타냅니다.
키 프레임 선택에서의 상호 정보 활용:
- 이미지 시퀀스 내에서 연속적인 이미지 쌍을 대상으로 상호 정보를 계산합니다.
- 상호 정보 값이 낮은 경우, 두 이미지 간에 중요한 변화가 발생했음을 의미할 수 있으므로, 이 시점에서의 이미지를 키 프레임으로 고려합니다.
- 반대로, 높은 상호 정보 값은 두 이미지가 비슷하거나 중요한 정보 변화가 적음을 의미하므로, 이를 기반으로 덜 중요한 프레임을 걸러냅니다.
3. Optical Flow (광학 흐름)
- 광학 흐름(Optical Flow)은 이미지 시퀀스에서 객체 또는 카메라 움직임에 의해 발생하는
픽셀 패턴의 변화를 추적하는 기술 - 광학 흐름을 이용하면,
두 연속적인 이미지 사이에서 픽셀이 어떻게 이동했는지를 벡터로 표현할 수 있으며,이 정보를 사용하여 이미지 시퀀스에서 중요한 키 프레임을 선택할 수 있습니다.
광학 흐름의 원리:
광학 흐름은 다음과 같은 기본 가정에 기반합니다:
- 밝기 일관성 가정(Brightness constancy assumption):
픽셀의 이동에 따라서도 그 밝기는 변하지 않는다고 가정합니다.- 즉,
픽셀이 이동하기 전과 후의 밝기가 동일하다고 가정합니다.
- 시간적 및 공간적 연속성 가정(Temporal and spatial continuity assumption):
픽셀의 움직임은 작은 시간 간격에서 부드럽고 연속적이라고 가정합니다.
광학 흐름 계산 방법:
-
광학 흐름은 다음 방정식을 통해 계산될 수 있습니다:
-
-
이 방정식은 각 픽셀의 움직임을 나타내는 벡터, 즉 광학 흐름을 계산하기 위해 사용됩니다.
-
하지만, 이 방정식만으로는 두 개의 미지수((u)와 (v))를 계산하기에 충분하지 않습니다.
-
이 문제를 해결하기 위해, 다양한 방법이 제안되었습니다:
- Lucas-Kanade 방법:
- 작은 윈도우 내의 여러 픽셀들이 유사한 움직임을 가진다고 가정하여, 광학 흐름을 계산
- Horn-Schunck 방법:
- 전체 이미지에 걸쳐 픽셀들의 움직임이 부드럽게 변화한다는 가정 하에, 에너지 최소화를 통해 광학 흐름을 전역적으로 계산
광학 흐름을 이용한 키 프레임 선택:
-
광학 흐름을 이용하여 키 프레임을 선택하는 과정은 다음과 같습니다:
-
움직임의 크기 측정:
- 연속적인 이미지 간의 광학 흐름을 계산하여, 각 픽셀의 움직임 크기를 측정합니다.
-
중요한 변화 감지:
- 큰 움직임이 감지되는 프레임은 시각적으로 중요한 변화를 포함하고 있을 가능성이 높으므로, 이러한 프레임을 키 프레임으로 선택합니다.
-
동적인 장면 포착:
- 광학 흐름은 특히 동적인 장면에서 객체의 움직임이나 카메라의 이동을 포착하는 데 유용
- 이를 통해, 동적인 변화가 포함된 중요한 순간을 효과적으로 식별할 수 있음
