초록
- SORT : 단순 온라인 및 실시간 객체 추적 알고리즘
연구 목적
- SORT 성능을 개선하고, 객체의 외형 정보를 통합한다.
- 객체가 가려진 상태에서 더 긴 시간동안 추적을 유지할 수 있다.
- 식별 오류의 수를 효과적으로 줄인다.
- 외형 정보를 학습하는 과정을 오프라인 단계로 분리하여, 실시간 어플에서 가볍게 작동하도록 설계한다.
연구 결과
- 식별 오류 45% 감소, 높은 프레임 속도에서 전반적으로 경쟁력 있는 성능을 달성하였다.
1. 서론
사용 기술
1) 다중 객체 추적 (MOT)
- Multiple Object Tracking
- 주어진 프레임 시퀀스에서 객체를 탐지하고, 각 객체의 궤적을 생성한다. (자율 주행, 영상 감시, 스포츠 분석 등)
-
주기능 : 추적-측정 간의 연관
: 이전 프레임에서 추적된 객체들 & 현재 프레임에서 새롭게 탐지된 객체들 간의 관계를 설정한다. -
MOT의 문제점
: 센서 잡음, 객체 간의 차단, 배경 혼란 등 다양한 문제점으로 인해 복잡해질 수 있다.
2) 단순 온라인 및 실시간 추적 (SORT)
- Simplt Online and Real-time Tracking
- 칼만 필터(Kalman Filter) : 단일 객체의 상태를 예측한다.
- 헝가리 알고리즘(Hungarian Algorithm) : 흐리게 처리된 측정값과 연관 짓는다.
- SORT의 한계
⑴ 객체 간의 외형 특징을 무시한다.
⑵ 객체 차단이 발생하면 추적 기능이 급격히 저하된다.
⑶ 식별 오류가 자주 발생한다.
3) 연구 목적
- SORT의 한계를 보완한다.
- 외형 정보를 통합하여 식별 오류를 줄인다.
- 장기 추적 능력을 향상시킨다.
- 외형 정보를 학습하는 오프라인 단계와 실시간 추적에 활용하는 방식을 통해, SORT의 간단함과 효율성을 유지한다.
- 식별 오류를 45% 줄이고, 높은 프레임 속도를 유지하도록 하였다.
MOT 데이터셋에서 흔히 발생하는 빈번한 차단 상황에서 일반적인 추적 상황을 나타낸다.
2. 심층 연관 지표를 활용한 SORT
- 단일 가설 추적 방식을 채택하였다.
- 한 번에 하나의 가설(하나의 추적 궤적)만 고려하는 방식이다.
2.1 트랙 처리 및 상태 추정
- 단일 가설 추적 방식 : 객체의 궤적을 처리하고 상태를 추정한다.
- 칼만 필터 : 각 객체의 상태를 재귀적으로 예측하고 갱신한다.
- 객체의 상태 : 위치, 속도, 크기
- 위치 : 객체의 현재 중심 위치
- 속도 : 객체의 움직임 속도
- 객체의 폭(width)과 높이(height)
- 객체의 상태는 프레임 간 변화를 설명하기 위해 설계된 동적 모델을 사용하여 업데이트 된다.
- 선형 모델을 기반으로 한다.
- 센서 잡음 및 예측 오차를 처리하기 위해 사용된다.
트랙 생성 및 삭제
- 트랙 생성 : 새롭게 감지된 객체는 기존의 추적 궤적과 연결되지 않을 경우 새로운 궤적으로 초기화 된다.
- 트랙 삭제 : 여러 프레임에 걸쳐 연속적으로 탐지가 이루어지지 않으면, 해당 트랙은 삭제된다.
2.2 할당 문제
추적-측정 간의 연관성
- 할당 문제 : 각 프레임에서 새롭게 탐지된 객체와 이전 프레임에서 추적된 객체를 연결하는 작업
- 비용 행렬(cost matrix) : 추적기와 탐지기 사이의 연관성을 나타낸다.
↪ 비용 행렬을 계산하여 추적-측정 간의 연관성을 해결한다.
비용 행렬 구성
-
위치 정보
: 칼만 필터를 사용하여 추적기의 예상 위치와 현재 프레임에서 탐지된 객체 간의 거리를 계산한다. -
외형 정보
: 추적기와 탐지기의 외형 특징 간의 유사성을 측정하여, 시각적 유사성을 고려한다.
위치 정보의 통합
- 탐지값이 평균 트랙 위치에서 얼
헝가리 알고리즘
- 헝가리 알고리즘(Hungarian Algorithm) : 프레임 간 객체를 매칭한다.
- 비용 행렬이 계산되면, 추적기와 탐지기 간의 최적 매칭을 수행한다.
SORT 개선 방법
- 외형 정보를 SORT에 통합하는 방식을 제안한다.
- 객체 탐지기의 출력 결과를 활용하여 외형 특징을 계산하여, 데이터 연관 문제를 더 정확히 해결한다.
2.3 매칭 캐스케이드
- 오래된 트랙(older tracks)에 대해 새로운 탐지값과 매칭될 기회를 제공한다.
- 차단이 빈번한 상황에서 객체 추적의 지속성을 보장한다.
매칭 캐스케이드의 원리
1) 새로운 트랙 우선 처리
- 최근 프레임에서 활성화된 '젊은 트랙(young tracks)'이 새로운 탐지값과 먼저 매칭된다.
- 최근 데이터가 더 신뢰할 수 있음을 가정한다.
2) 오래된 트랙 처리
- 젊은 트랙과 매칭되지 않은 탐지값은 이후 '오래된 트랙'과 매칭된다.
- 오래된 트랙은 차단 또는 가림으로 인해 일정 기간 동안 탐지값과 매칭되지 않았을 가능성이 있다.
↪ 오래된 트랙에 대한 새로운 탐지값과 매칭될 기회를 제공하여, 차단이 빈번한 상황에서 객체 추적의 지속성을 보장한다.
↪ 연관의 우선순위를 합리적으로 배분할 수 있다.
CNN 아키텍처. 배치 정규화와
