HEVC 화면간 예측

예측 단위(Prediction Unit, PU)

• 예측의 기본 단위로서, 하나의 CU 내에서 8가지의 PU 모양으로 화면간 예측 수행

병합 모드(Merge Mode)

• 주변 블록으로부터 움직임 정보(List, Ref, MV)를 유추하는 모드
• 현재 블록과 주변 블록의 상관관계가 높을수록 Merge 모드가 많이 선택
• Merge 모드에서 잔차 신호를 압축하지 않을 시 Skip 모드로 간주
  • Skip 모드
    • 블록에 대한 Motion Vector나 잔차를 부호화하지 않고, 이를 참조 블록의 정보로 대체하는 방식
• Merge Candidate List에는 일반적으로 최대 5개의 후보가 포함됨
  • Spatial 후보: 상단, 왼쪽, 오른쪽 위 블록의 정보를 가져옴
  • Temporal 후보: 이전 참조 프레임의 정보를 사용

공간적 Merge 후보(Spatial Candidate)

• 현재 블록과 인접한 블록들의 움직임 정보 사용

• A1, B1, B0, A0, B2 순으로 Merge List에 추가
• B2는 A1, B1, B0, A0의 움직임 정보가 하나라도 존재하지 않을 경우에만 사용
• 동일한 Motion 정보가 Merge 리스트에 있는 경우 해당 움직임 정보는 제외

분할 PU에 대한 공간적 Merge 후보

• 같은 CU에 존재하는 모든 PU들을 병렬적 처리하기 위하여 인접한 PU의 블록들은 Merge List 구성 시 공간적 Merge 후보 대상에서 제외

시간적 Merge 후보(Temporal Candidate)

• 과거나 미래 참조 영상에서 현재 블록과 같은 위치 블록의 Motion Vector를 가져와 사용
  • 사용되는 참조 영상에 따라 POC를 비교하고 스케일링하여 사용
• 공간 Merge 후보를 먼저 Merge Candidate List에 채우고, 5개가 채워지지 않았으면 시간 Merge 후보를 채움

추가 Merge 후보

• 공간 Merge 후보와 시간 Merge 후보를 추가하고도 5개를 채우지 못 했다면 영벡터(Zero Vector) 추가
• 또는 조합을 통해 Merge List에 추가

AMVP 모드

• 주변 블록으로부터 예측 움직임 벡터를 구한 뒤, 움직임 탐색을 통해 예측 블록 생성
• Merge 모드와 달리, 참조 영상 인덱스 및 움직임 벡터 차이 등의 움직임 정보 전송 필요
• AMVP 리스트에 2개의 공간적 후보와 1개의 시간적 후보 중 2개의 AMVP 후보들을 추가하고, 압축 효율이 가장 좋은 AMVP 후보가 최적의 예측 모드로 선택시, AMVP 플래그 전송

출처 및 참조

• MPEG뉴미디어포럼/한국방송∙미디어공학회 2023 Summer School
• 이진영, Intelligent Visual Computing Lab, 세종대학교