YOLOv10: Real-Time End-to-End Object Detection
[논문]
https://www.arxiv.org/abs/2405.14458
[github]
https://github.com/THU-MIG/yolov10
Overview
• YOLOv10은 NMS가 없는 훈련을 위해 일관된 이중 할당을 도입하여 경쟁력 있는 성능과 낮은 추론 대기 시간을 동시에 달성한다.
• YOLO에 대한 전체적인 효율성-정확성 기반 모델 설계 전략을 제시하여 효율성과 정확도 관점 모두에서 다양한 구성 요소를 포괄적으로 최적화한다.
• YOLOv10은 다양한 모델 규모에 걸쳐 성능과 효율성 측면에서 최첨단 방법을 능가한다.
• 예를 들어, YOLOv10-S는 COCO에서 유사한 AP를 가진 RT-DETR-R18보다 1.8배 빠르지만 매개변수와 FLOP는 2.8배 적다. YOLOv9-C와 비교하여 YOLOv10-B는 동일한 수준의 성능을 유지하면서 대기 시간을 46%, 매개변수 수를 25% 감소시킨다.
Architecture
모델 아키텍처는 다음과 같은 구성 요소로 이루어져 있습니다:
-
Backbone: 특징 추출을 담당하는 YOLOv10의 백본은 향상된 버전의 CSPNet을 사용하여 그라데이션 흐름을 개선하고 계산 중복성을 줄입니다.
-
Neck: 넥은 다양한 스케일의 피처를 취합하여 헤드로 전달하도록 설계되었습니다. 여기에는 효과적인 멀티스케일 피처 융합을 위한 PAN(경로 집계 네트워크) 레이어가 포함되어 있습니다.
-
One-to-Many Head: 훈련 중에 객체당 여러 예측을 생성하여 풍부한 supervisory signal을 제공하고 학습 정확도를 향상시킵니다.
-
One-to-One Head: 추론 중에 객체당 하나의 최적 예측을 생성하여 NMS가 필요하지 않으므로 대기 시간을 줄이고 효율성을 개선합니다.
Key Features
-
NMS-Free Training: 일관된 이중 할당을 활용하여 NMS의 필요성을 없애고 추론 대기 시간을 줄입니다.
-
Holistic Model Design: lightweight classification heads, spatial-channel decoupled down sampling 및 rank-guided block design 등 효율성과 정확도 측면에서 다양한 구성 요소를 종합적으로 최적화합니다.
-
Enhanced Model Capabilities: 대규모 커널 컨볼루션과 부분적인 셀프 어텐션 모듈을 통합하여 큰 계산 비용 없이 성능을 개선합니다.
Methodology
Consistent Dual Assignments for NMS-Free Training
YOLOv10은 supervision과 효율적인 엔드투엔드 배포를 보장하기 위해 훈련 중에 일대다 및 일대일 전략을 결합한 이중 레이블 할당을 사용합니다. 일관된 매칭 메트릭은 두 전략 간의 supervision을 조정하여 추론 중 예측의 품질을 향상시킵니다.
Holistic Efficiency-Accuracy Driven Model Design
Efficiency Enhancements
-
Lightweight Classification Head: 깊이별로 분리 가능한 컨볼루션을 사용하여 분류 헤드의 계산 오버헤드를 줄입니다.
-
Spatial-Channel Decoupled Down sampling: 공간 감소와 채널 변조를 분리하여 정보 손실과 계산 비용을 최소화합니다.
-
Rank-Guided Block Design: 내재적 스테이지 리던던시를 기반으로 블록 설계를 조정하여 최적의 파라미터 활용을 보장합니다.
Accuracy Enhancements
-
Large-Kernel Convolution: receptive field를 확대하여 특징 추출 기능을 향상시킵니다.
-
Partial Self-Attention (PSA): 최소한의 오버헤드로 global representation learning을 개선하기 위해 self-attention modules을 통합합니다.
[참조]
