Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving : A Comprehensive Review 논문 요약

이 논문은 심층 학습 기술의 발전으로 자율 주행 차량의 지각 능력이 크게 향상되었음을 강조하며, 특히 레이더와 카메라 센서 데이터를 융합하는 기술에 초점을 맞춘 포괄적인 검토를 제공합니다. 레이더와 카메라는 각각의 강점과 약점을 가지고 있어 상호 보완적으로 사용될 때 가장 효과적인 지각 시스템을 구축할 수 있습니다.

1. Introduction

• 자율 주행의 중요성: 교통 체증 완화 및 운전 안전성 향상 잠재력.

• 지각(Perception)의 역할: 자율 주행 시스템의 기초로서 모션 예측, 경로 계획, 기동 제어 등 후속 기능에 필수적.

• 센서 융합의 필요성: 다양한 센서의 상호 보완적이고 중복적인 특성을 활용하여 최적의 정확도와 견고성을 확보.

• 레이더-카메라 융합의 초점: 본 논문은 객체 탐지 및 시맨틱 분할이라는 두 가지 핵심 지각 작업에 대한 레이더-카메라 융합을 중점적으로 다룹니다.

그림 1.

자율 주행에서의 객체 탐지 및 의미론적 분할의 일반적인 시나리오. 상자와 마스크는 각각 탐지 및 분할의 결과를 나타냅니다. 점들은 각 레이더 포인트의 위치를 나타내며, 점이 어두울수록 자율주행 차량과의 거리가 가까워집니다. 이미지는 nuScenes [5] 데이터셋에서 생성되었습니다.

2. Background

A. 레이더 센서 (Radar Sensors)

• 작동 원리: 전파 송수신을 통해 거리, 속도, 방위각 등을 측정. 주로 밀리미터파(MMW) 레이더 사용. MIMO 레이더와 기계식 회전 레이더 특징 비교.

  • 거리 측정: 송신 신호와 반사 신호 간의 시간차(Time of Flight, TOF) 이용.
  • 속도 측정: 도플러 효과를 이용한 전파 주파수 차이 측정.
  • 방위각 측정: 다중 안테나 간 신호 위상차 이용.
  • 4D 레이더: 최근에는 수직 안테나 배열을 통해 고도 각도 정보까지 측정 가능.

• 센서 특성:

  • 장점: 악천후(비, 안개, 먼지) 및 조명 조건에 강함, 정확한 속도 측정 가능.
  • 단점: 낮은 각도 해상도, 희소한 포인트 클라우드, 객체 윤곽 정보 부족, 접선 속도 측정 불가, 노이즈(다중 경로, 전기적 간섭 등), 정지 객체 탐지 어려움.

• 데이터 표현: ADC 신호, 레이더 텐서(Range-Azimuth-Doppler), 포인트 클라우드, 마이크로-도플러 시그니처 등.

B. 카메라 센서 (Camera Sensors)

• 작동 원리: 렌즈를 통해 빛을 모아 이미지 센서에서 전기 신호로 변환하고, ISP(Image Signal Processor)를 통해 RGB 이미지 또는 비디오 생성.

• 센서 특성:

  • 장점: 색상, 질감, 모양 등 풍부한 시맨틱 정보 제공.
  • 단점: 수동적 센서로 빛에 민감(야간, 악천후 성능 저하), 3D 세계 정보를 2D 이미지로 투영하면서 거리 정보 손실.

• 데이터 표현: RGB 이미지, 깊이 맵(Depth Map), 적외선 이미지(Infrared Image), 이벤트 이미지(Event Image) 등.

C. 레이더와 카메라 센서 비교 (Comparison of Radar and Camera Sensors)

• 레이더: 능동 센서, 거리/속도/방위각 측정, 악천후/야간 강점, 낮은 각도 해상도/희소성 단점.

• 카메라: 수동 센서, 색상/질감/모양 등 풍부한 정보, 분류 능력 우수, 악천후/야간 취약, 거리 정보 손실.

• 융합의 중요성: 두 센서의 강점을 결합하여 정확성, 견고성, 신뢰성 향상.

D. 지각 작업 (Perception Tasks)

• 객체 탐지 (Object Detection): 객체의 위치를 파악하고 범주를 결정하는 작업. 2D(경계 상자), 3D(입체 경계 상자), BEV(Bird's Eye View) 탐지로 구분.

  • 카메라 기반: CNN(Two-stage, One-stage), Transformer 기반 방법론 소개.
  • 레이더 기반: 레이더 텐서(이미지 유사) 또는 포인트 클라우드 기반 네트워크 활용. PointNet, PointNet++, GNN 기반 방법론 소개.

• 시맨틱 분할 (Semantic Segmentation): 각 픽셀 또는 포인트에 의미론적 레이블을 할당하는 작업.

  • 카메라 기반: FCN, Encoder-Decoder(U-Net, SegNet), Dilated Convolution(DeepLab), Transformer 기반 방법론 소개.

  • 레이더 기반: 레이더 텐서 또는 포인트 클라우드 기반 분할. CNN(DeepLabv3+, U-Net), PointNet 기반 방법론, Point Transformer 활용.

그림 2.

레이더 데이터 표현 방식의 생성 과정.

그림 3.

(a) Simple-Chirp-Antenna 텐서 형식의 ADC 신호.
(b) 3D Range-Azimuth-Doppler 텐서로 표현된 레이더 텐서. CARRADA [33] 데이터셋에서 생성된 이미지.
(c) 2D 이미지 평면에 투영된 포인트 클라우드. View-of-Delft [34] 데이터셋에서 생성된 이미지.
(d) 보행자가 걷는 모습을 보여주는 Micro-Doppler 시그니처. Open Radar Datasets [35]에서 생성된 이미지.

그림 4.

레이더와 카메라 특성 비교. 이 차트들에서 각 특성은 중앙 지점에서 방사형으로 뻗어 나가는 선분들 중 하나를 따라 그려지며, 꼭짓점에 가까울수록 해당 특성의 품질이 높음을 나타냅니다. (a) 레이더와 카메라의 융합 특성. (b) 레이더 특성. (c) 카메라 특성.

3. Fusion Datasets

• 데이터셋 분류: 2D/3D 객체 탐지, 2D/3D 시맨틱 분할 등. 객체 탐지 데이터셋이 더 많음.

• 센싱 모달리티:

  • ADC 신호: RaDICaL, RADIal 데이터셋에서 제공.
  • 레이더 텐서: 2D (RADIATE, CRUW), 3D (CARRADA, Zendar), 4D (K-Radar) 텐서 제공.
  • 포인트 클라우드: 3D (nuScenes, Zendar), 4D (Astyx, VoD) 포인트 클라우드 제공.

• 데이터셋 범주: 보행자, 차량, 자전거 등 일반적인 객체 범주 외에 다양한 객체 범주 포함. 객체의 특정 속성(이동, 정지 등) 라벨링.

• 데이터셋 크기: 500 프레임(Astyx)부터 140만 프레임(nuScenes)까지 다양.

• 기록 시나리오: 도시, 시골, 고속도로 등 일반적인 도로 환경 외에 혼잡한 교통 상황, 악천후(안개, 비, 눈), 야간, 실내(주차장), 수면 위 등 다양한 환경 포함. 시뮬레이션 데이터를 활용한 데이터셋도 존재.

그림 5.

막대의 색상은 다양한 레이더 표현 방식을 나타내며, 막대의 높이는 각 데이터셋의 프레임 수를 나타냅니다.

4. Fusion Methodologies

A. 융합 이유 (Why to Fuse)

• 장점: 두 센서의 장점을 활용하여 객체의 색상, 질감, 모양, 거리, 속도 등 풍부한 정보를 종합적으로 얻을 수 있음. 악천후 및 야간에도 작동 가능하여 전천후 센싱 구현. 객체 추적, 궤적 예측, 차량 내비게이션 등 하위 작업 성능 향상. 정확성 및 견고성 증대.

B. 융합 대상 (What to Fuse)

• 카메라 데이터: RGB 이미지, 적외선 이미지 등.
• 레이더 데이터: ADC 신호, MDS(Time-Frequency Representation), 레이더 텐서, 포인트 클라우드 등.

C. 융합 위치 (Where to Fuse)

• 정면 시야 (Front View, FV): 레이더 데이터를 카메라 이미지 평면에 투영하여 퓨전. 객체 제안(proposal) 생성에 유리하나, 객체 가려짐(occlusion) 및 캘리브레이션 오류에 민감.

• 조감도 (Bird's Eye View, BEV): 레이더 또는 카메라 데이터를 BEV 좌표계로 변환하여 퓨전. 객체 가려짐 문제에 강점. IPM(Inverse Perspective Mapping) 활용 가능.

D. 융합 시점 (When to Fuse)

• 객체 레벨 퓨전 (Object-level Fusion): 각 센서에서 독립적으로 감지된 최종 객체 결과를 융합. 유연성이 높으나, 개별 결과의 정확성에 의존.

• 데이터 레벨 퓨전 (Data-level Fusion): 원시 데이터 또는 전처리 데이터를 초기 단계에서 융합. 두 모달리티의 모든 특징 활용 가능하나, 시공간적 불일치에 민감.

• 특징 레벨 퓨전 (Feature-level Fusion): 각 센서에서 추출된 특징을 중간 단계에서 융합. 모달리티 간 상호 보완적인 특징 학습 가능.

• 하이브리드 레벨 퓨전 (Hybrid-level Fusion): 여러 융합 레벨을 조합. 다양한 데이터 단계를 활용하여 정보 손실 최소화.

E. 융합 방법 (How to Fuse)

• 데이터 정렬 (Data Alignment):

  • 시간 정렬 (Temporal Alignment): 센서 간 시간 지연(latency) 및 프레임 간 드리프트(drift) 보정. 하드웨어/소프트웨어 기법 활용.
  • 공간 정렬 (Spatial Alignment): 레이더 데이터를 카메라 이미지 픽셀에 매핑. 타겟 기반/타겟리스 캘리브레이션 방법론 소개.

• 융합 연산 (Fusion Operations): 덧셈(Addition), 평균(Mean), 곱셈(Multiplication), 연결(Concatenation), 어텐션(Attention) 등.

  • 어텐션 메커니즘: 각 모달리티의 중요도를 동적으로 조절하여 악천후 등 특정 상황에 대한 견고성 향상.

F. 네트워크 아키텍처 (Network Architectures)

• 포인트 기반 네트워크 (Point-based Networks): 레이더 포인트 클라우드를 입력으로 사용. 투영 기반, 의사 이미지 기반, 복셀 기반, BEV 기반 방법론 소개.

• 텐서 기반 네트워크 (Tensor-based Networks): 레이더 텐서를 입력으로 사용. 교차 지도 기반(Cross-supervised-based), 투영 기반 방법론 소개.

G. 모델 평가 (Model Evaluations)

• 평가 지표: Precision, Recall, mAP, mIoU 등 기존 지표 외에 nuScenes에서 제시한 mATE, mASE, NDS 등.

• 성능 평가: nuScenes, VoD, TJ4DRadSet 등 주요 데이터셋에서의 성능 비교. Transformer, BEV 특징, 어텐션 메커니즘의 중요성 강조.

그림 6.

레이더-카메라 융합 방법론. (a) "무엇을 융합할 것인가": RGB 이미지, 근적외선 이미지, 포인트 클라우드, 레이더 텐서와 같은 레이더-카메라 융합을 위한 입력 모달리티. (b) "어디서 융합할 것인가": 전방 시점과 조감도(bird's eye view)의 두 가지 관점을 포함하는 레이더-카메라 융합을 위한 위치 변환. (c) "언제 융합할 것인가": 최종 객체, 원시 데이터, 추출된 특징, 하이브리드 표현의 융합을 포함하여 두 모달리티가 융합되는 단계. (d) "어떻게 융합할 것인가": 시간적 정렬(temporal alignment)과 공간적 정렬(spatial alignment)의 두 가지 정렬 유형과 덧셈, 평균, 곱셈, 연결(concatenation), 어텐션(attention)의 다섯 가지 융합 연산을 포함하는 데이터 정렬 및 융합 연산.

그림 7.

레이더-카메라 융합 레벨 분류. (a) 객체 레벨 융합. (b) 데이터 레벨 융합. (c) 특징 레벨 융합. (d) 하이브리드 레벨 융합.

그림 8.

두 피처 레벨 융합 네트워크, 즉 (a) SAF-FCOS [214]와 (b) BIRANet [190]의 피처 히트맵입니다. 두 네트워크 모두 카메라 및 레이더 브랜치로부터 입력을 받고, 각각의 백본을 사용하여 이미지 피처와 포인트 클라우드 피처를 추출합니다. 피처 융합 단계에서 SAF-FCOS는 곱셈 연산을 사용하며, BIRANet은 요소별 덧셈 연산을 수행합니다. Grad-CAM [215]으로 생성된 검출기 히트맵은 각 방법의 결과 분석에 활용됩니다. 피처 맵을 명확하게 표시하기 위해 시각화를 위해 오직 아홉 개의 채널만 선택되었습니다.

그림 9.

레이더-카메라 융합 알고리즘의 연대기적 개요. 화살표의 색상은 다양한 융합 수준을 나타내고, 아이콘의 모양은 서로 다른 네트워크 아키텍처를 나타냅니다.

그림 10.

nuScenes 테스트셋에서의 레이더-카메라 융합 방법 성능.
가로축과 세로축은 각각 mAP와 NDS이며, 값이 클수록 성능이 더 좋습니다.
mAP와 NDS는 각각 가로축과 세로축에 대한 평가 지표로, 값이 클수록 더 나은 성능을 나타냅니다.

5. Challenges and Research Directions

A. 다중 모달 데이터 (Multi-modal Data)

• 데이터 품질:

  • 희소성(Sparsity): 레이더 포인트 클라우드의 희소성으로 인한 특징 학습 어려움. 4D 레이더, 다중 프레임 융합, 포인트 클라우드 분포 모델링 연구 필요.
  • 부정확성(Inaccuracy): 레이더 포인트가 객체의 중심이 아닌 주변에 위치하는 문제. 객체 앵커 확장, 열/기둥 확장 기법, 포인트 클라우드 분포 기반 정확도 향상 연구 필요.
  • 노이즈(Noise): 팬텀 객체, 지면 탐지, 레이더 간 간섭 등. 딥러닝 기반 노이즈 제거, 포인트 클라우드 수준의 시맨틱 분할 적용 연구 필요.

• 데이터 다양성:

  • 적은 크기(Small Size): 카메라 데이터에 비해 레이더-카메라 융합 데이터셋 크기 제한. 불균형한 클래스 분포.
  • 불충분한 조건(Insufficient Conditions): 다양한 환경(악천후, 야간, 복잡한 도로) 및 360도 시야 확보의 어려움.
  • 연구 방향: 합성 데이터 활용, 도메인 적응(Domain Adaptation), 전이 학습(Transfer Learning).

• 데이터 동기화:

  • 높은 캘리브레이션 요구사항: 정밀한 시공간 캘리브레이션 필수. 4D 레이더-카메라 캘리브레이션, 실시간 온라인 캘리브레이션 연구 필요.
  • 라벨링의 어려움: 레이더 데이터의 물리적 형상 불명확성. 자동 라벨링, 능동 학습(Active Learning) 등 효율적인 라벨링 방법론 연구 필요.

B. 다중 모달 융합 (Multi-modal Fusion)

• 특징 추출: LiDAR 기반 또는 이미지 기반 알고리즘의 레이더 데이터 적용 한계. 어텐션 메커니즘, GNN, 신경망 기반 레이더 정보 추출 연구 필요.

• 데이터 연관 (Data Association): 이질적인 레이더-카메라 데이터 간의 모호한 연관 문제. 어텐션 기반 연관, 칼만 필터/베이지안 추정 활용, 불확실성 추정 연구 필요.

• 데이터 증강 (Data Augmentation): 레이더-카메라 모달리티 간 상호 연관성을 고려한 조인트 데이터 증강 방법론 연구 필요.

• 훈련 전략 (Training Strategies): 과적합, 특정 모달리티 무시 문제. 손실 함수 가중치 조절, 교차 지도 학습, 지식 증류(Knowledge Distillation) 등.

• 모델 견고성 (Model Robustness): 센서 성능 저하/고장, 미지의 주행 시나리오 대응. 어텐션, 불확실성 추정, 생성 모델 활용.

• 모델 평가 (Model Evaluations): 표준화된 평가 지표 및 데이터셋 사용의 중요성. 불확실성 관련 지표, 오픈셋 객체 평가, 시각화 도구 개발.

• 모델 배포 (Model Deployment): 제한된 컴퓨팅 자원을 가진 엣지 디바이스에서의 효율적인 모델 구현. 경량화, 가지치기(pruning), 양자화(quantization), 다중 작업(multi-task) 퓨전 연구.

6. Conclusion

본 논문은 레이더-카메라 융합이 자율 주행 차량의 객체 탐지 및 시맨틱 분할 성능을 향상시키는 데 중요한 역할을 함을 강조합니다. 데이터 표현의 풍부함, 4D 레이더 센서의 발전, 맞춤형 레이더 알고리즘, 다중 프레임 및 다중 작업 융합이 미래 연구 방향으로 제시됩니다. 본 검토가 관련 연구자들에게 유용한 참고 자료가 되기를 바랍니다.