ITU-T J.343.1/2 문서 요약

SSONG·2022년 9월 27일

ITU-T VQA

VQA

목록 보기

1/3

Series J: 케이블 네트워크와 텔레비전, 사운드 프로그램 및 기타 멀티미디어 신호의 전송 방식

암호화된 bitstream data가 있는 HDTV 및 멀티미디어 IP 기반 서비스를 위한 Hybrid-NRe 객관적 인식 비디오 품질 측정

0. Summary

HDTV 및 멀티미디어에 대한 객관적 인식 비디오 품질 측정 방법을 제공한다.

ITU-T J.343.1은 암호화된 비트스트림 데이터를 사용할 수 있는 경우 (Encrypted bitstream data / Hybrid-NRe 방식)
ITU-T J.343.2는 암호화되지 않은 비트스트림 데이터를 사용할 수 있는 경우 (Non-encrypted bitstream data / Hybrid-NR 방식)

1. ITU

국내 전기 통신 연합 → 통신, 정보 및 통신 기술 (ICT) 분야의 UN 전문 기관
ITU-T는 ITU의 상설 기관으로 기술, 운영 및 요금에 대해 연구하고 전 세계적으로 통신 표준화를 위한 권고안을 발표
권고안 준수는 자발적인 선택이지만, 권고안에 있는 특정 의무 조항을 모두 충족하여야 “권고안 준수”가 달성됨

2. Scope

IP 기반 비디오 서비스의 시각적 품질을 측정하기 위한 알고리즘 모델 설명

디코딩된 비디오 프레임, 패킷 헤더 및 비디오 payload를 사용하여 주관적 품질을 예측하는 객관적 비디오 품질 모델

1) Hybrid-NRe 모델 (J.343.1)

비디오 플레이어에서 캡쳐된 패킷 헤더 정보와 비디오 이미지 데이터를 분석하여 작동
모델은 패킷 payload를 parsing이나 디코딩하지 않고 작동함
서비스 중에 배포할 수 있으며 암호화된 비트스트림 데이터뿐만 아니라 암호화되지 않은 비트스트림 데이터에도 사용할 수 있음

2) Hybrid-NR 모델 (J.343.2)

암호화되지 않은 비트스트림 데이터와 비디오 플레이어에서 캡쳐한 비디오 이미지 데이터를 사용
서비스 중에 배포할 수 있지만 암호화된 비디오를 분석할 수는 없음

해당 모델들은

Output으로 1~5점 사이의 MOS로 시각적 품질 추정치를 제공
다루는 애플리케이션 영역
- 저해상도 - 모바일 TV와 같은 서비스를 포함한 VGA/WVGA
- 고해상도 - IPTV와 같은 서비스를 포함한 HD
사용되는 곳
- ITU-T H.264를 사용하여 인코딩된 비디오
- RTP/UDP/IP 패킷으로 캡슐화된 미디어 payload (저해상도의 경우)
- MPEG-TS/RTP/UDP/IP로 캡슐화된 미디어 paylaod (고해상도의 경우)
비디오 코딩, 잘못된 전송 또는 크기 조정으로 인한 spatial 및 temporal 저하로 인한 시각적 효과 측정

검증 테스트 자료는

ITU-T H.264를 사용하여 인코딩된 비디오로 구성
Wifi와 3G 네트워크등의 유무선 네트워를 통해 전송되는 미디어를 포함
또한 전송 장애에는 패킷 손실, 패킷 지연 등의 오류 조건이 포함됨

☑️ 검증 테스트에 포함된 SRC (Source Reference Channel) 조건

1080i 60 Hz (29.97 fps);
1080p (25 fps);
1080i 50 Hz (25 fps);
1080p (29.97 fps);
SRC duration: HD: 10s, VGA/WVGA: 10s or 15s (rebuffering);
VGA at 25 and 30 fps;
WVGA at 25 and 30 fps;

☑️ 검증 테스트에 포함된 HRC (Hypothetical Reference Circuit) 조건

Test factors
Video resolution: 1920 × 1080 interlaced and progressive
Video frame rates 29.97 and 25 fps
Video bitrates: 1 to 30 Mbit/s (HD), 100 kbit/s to 3 Mbit/s (VGA/WVGA)
Temporal frame freezing (pausing with skipping) of up to 50% of video duration
Transmission errors with packet loss
Rebuffering (VGQ/WVGA only): up to 50% of SRC

☑️ Coding Techonologies

ITU-T H.264/AVC (MPEG-4 Part 10)
Tandem coding

3. Applications

해당 모델을 사용할 수 있는 예시이며, 이에 국한되지는 않는다.

Headend에서 실시간 서비스 중 품질 모니터링
인터넷 프로토콜을 사용하여 인터넷/케이블/IPTV 네트워크를 통해 전송되는 비디오 텔레비전 스트림
암호화/비암호화 비트스트림 사용 가능 시 수신기에서의 비디오 품질 모니터링
전송-수신 지점 사이에 위치한 측정 노드에서의 비디오 품질 모니터링
비디오 압축 및 압축 해제 기술을 사용하는 전송 시스템의 모니터링을 위한 품질 측정
비디오 전송 시스템 lab 테스트

4. Limitations

해당 모델을 사용하여 주관적 테스트를 완전히 대체할 수는 없다.

VGA/WVGA에 대해서만 rebuffering 조건 내에서 비디오 품질을 측정하도록 검증됨
TV 시스템에 사용된 frame rate 이외의 것에 대해서는 테스트 되지 않음
Forward error correction technique을 사용하는 경우 적합하지 않을 수 있음
비트스트림 데이터의 수집 지점과 PVS 캡쳐 지점 사이에 추가적인 전송 오류가 발생하지 않는 것이 중요함
이 테스트에 포함되지 않은 새로운 코딩이나 전송 기술이 적용되는 경우에는 잘못된 결과를 초래할 수 있으며, 주관적인 평가가 필요하게 됨

5. Hybrid No-reference methodology

처리된 비디오 시퀀스와 비트스트림 데이터를 모두 사용하는 객관적인 비디오 품질 측정 방법으로, 비트스트림 데이터는 Elementary bitstrea (ES), Packetized elementary bitstrea (PES) 또는 Packet Video의 형태로 제공될 수 있다.

Hybrid-NR 모델 → PVS와 Non-encrypted 비트스트림 데이터 사용
Hybrid-NRe 모델 → PVS 및 비트스트림 데이터 사용, encrypted 비트스트림과 함께 사용할 수 있음

6. Model

< Hybrid-NRe >

▶ RTS-V model

RTS-V 모델은 3개의 모듈로 구성된다.

1) Module 1

Packet header data extraction

Input → Name of bitstream pcap file
Output → Transmitted video frame hiehgt / Data frame containing packet header data
Pcap file에서 packet header를 추출함

2) Module 2

Extraction of video frame feature statistics

Input → Name of avi file of the video (PVS)
Output → Result list containing the feature statistics values
비디오 프레임의 feature를 기반으로 통계 계산
추출되는 features
- Video frame resolution
- Motion statistics
- Interframe difference statistics
- Spatio-temporal complexity statistics
- Frame display time
- Scene change statistics

Alignment of edited PVS to PVS (편집된 PVS를 PVS에 정렬)

Input → The video sequence (complete) / The edited (shorter) video sequence
Output → Indices in longer sequence of the start & end of shorter sequence

3) Module 3

Hybrid core model

Input → Video frame feature statistics from process_video module 2 / Packet header data from pcap_extractor / Transitted frame height from pcap_extractor / First frame (frame start) and … last frame (frame_end) of edited PVS in PVS
Output → The estimated quality in the range 1~5

모듈 1과 2는 비트스트림을 포함하는 .pcap 파일의 이름과 playback side에서 캡쳐된 비디오를 포함하는 .avi 파일의 이름을 input으로 가져온다.

모듈 1과 2는 독립적이며 이들의 output이 모듈 3에 대한 input이 된다.

모듈 3의 output은 HybridModel.preded_Quality로 1~5 범위로 예상되는 비디오 품질이다.

개별 코딩 및 품질 추정치와 같은 추가 진단 정보를 모델에서 검색할 수 있다.

▶ YHyNRe Model

사전 정의된 look-up table과 총 패킷 수/ 패킷 손실 수를 이용해 비디오 품질 메트릭 (VQM) 값을 계산한다.

Process

1) Feature computation

Total number of packets and number of packet loss
Green block feature
Freeze feature

2) Feature computation - Metric

Blocking metric
Blurring metric
Freezing metric
Repeating block metric

3) VQM Computation

VQM computation using encrypted bitstream data and LUT
PVS VQM
Post -processing (전송 오류로 인한 다양한 장애를 반영하기 위해)

< Hybrid-NR>

▶YHyNR Model

Quantization parameter (QP)를 사용하여 비디오 품질 메트릭 (VQM) 값을, 사전 정의된 look-up table을 사용하여 error area (log)를 계산한다.