자율주행 자동차의 센서의 종류

• 주변에 대한 정보를 얻는 것으로 사람의 감각기관에 해당함
• 카메라, 레이더(RADAR), 라이다(LiDAR), 초음파 센서 등이 있음

장단점

• 카메라 센서
  • 빛을 전기적 신호로 변환하여 주변에 대한 정보를 2차원 배열 형태로 제공
  • 운전자보조시스템(ADAS)에 가장 많이 사용
• 레이더 센서
  • 전자기파인 RF 신호를 송출하고, 목표물에 반사하는 수신파를 분석하여 물체의 거리, 각도, 속도 등의 정보를 얻어냄
• 라이다 센서
  • 고출력의 펄스레이저를 송출하여 물체에서 반사되어 오는 신호의 사간차를 분석해 3차원 공간을 스캐닝함
  • 포인트 클라우드 형태로 표현됨

자율주행 인지 기술 개념

• 자율주행을 위해 센서로부터 얻은 신호를 분석하여 차량 주변의 환경에 대한 정보를 얻는 과정
• 자율주행에서의 주변 환경 요소 : 동적 환경 객체, 정적 환경 객체

인지 기술에서 해야 할 일

1. 동적 객체의 검출 및 추적
   • 동적 객체의 검출 : 센서 신호를 분석하여 주변 동적 객체의 위치와 종류 판별
   • 동적 객체의 추적 : 매 시점마다 얻은 검출 결과를 시간적으로 연결하여 추적
2. 동적 객체의 거동 예측
   • 동적 객체의 시간적인 움직임을 분석하여 미래의 움직임 예측
3. 정적 객체 검출
   • 정적 객체의 위치와 종류 식별

인지 기술의 발전방향

자율주행차 인지 기술의 어려움

• 근거리 환경 인지에 대해 100%에 가까운 정확도 요구
• 다양한 변화에 강인한 성능 요구
• 예측하기 힘든 매우 다양한 주행 환경, 상황
• 인지에 활용되는 주행 및 교통 환경 등의 문맥적인 의미 파악의 기술적 어려움(사람처럼 유연하지 못함)
• 주변 타 차량이나 보행자의 다양한 행동 패턴
• 새로운 객체들이 계속 생겨나고 교통 환경도 시간에 따라 변화해 감
• 인지 기술 수행의 실시간 연산이 가능해야 함

인지 기술의 도전적 과제

• 다양한 환경 변화 및 주행 환경에서 강인함과 신뢰성 향상
• 주행 및 교통 환경 등의 문맥적인 의미를 활용하여 인지기능의 정확도 향상
• 다양한 동적 객체들의 행동 패턴 이해 및 분석
• 새롭게 변화하는 환경에 적응, 변화
• 동적 환경 객체 검출, 추적, 예측 기능의 통합적인 시스템 설계 및 최적화
• 종합적인 인지 소프트웨어 스택을 실시간으로 처리하기 위한 알고리즘, 하드웨어 구조 개발

인지를 위한 AI 기술

• AI 기술(인공지능 기술) : 사람이 갖고 있는 기술을 기계로 구현하기 위한 기술
• 머신러닝 : 데이터를 통해 학습하는 방식으로 지능을 구현하는 기술
• 딥러닝 : 머신러닝 기술을 하기 위해 필요한 모델 중 하나,
  사람의 뉴런을 모사하는 신경망 구조를 가짐

인지를 위한 AI 기술의 필요성

• 인지 기술을 위한 AI 기술의 필요성
  • 엔지니어가 직접 데이터를 설명하는 모델 설계
  • 실제 환경에서 얻은 데이터의 통계적인 분포와 구조가 복잡

인지를 위한 AI 기술의 적용 과정

• 대규모 센서 데이터 취득
• 라벨링 과정
• 클라우드 서버, 컴퓨팅 환경에서 딥러닝 모델 훈련 수행
• 학습된 신경망의 연결 정보를 차량에 탑재
• 자율주행차에서 수집된 센서 데이터를 기반으로 차량에 정착된 컴퓨팅 하드웨어를 이용해 인지 기능 수행

인지를 위한 딥러닝 기술 개요

딥러닝 모델의 신경망 구조

• 센서 데이터를 입력받아 원하는 결과를 출력
• Feed-forward 신경망 구조

딥러닝의 학습 과정

• 트레이닝
  • 수많은 학습 데이터를 보여주고 정답을 제대로 낼 수 있도록 신경망의 연결여부를 결정해주는 과정
• 인퍼런스
  • 트레이닝이 끝나면 딥러닝 모델을 자율주행차에 탑재하여 실제 인지 기능 수행

인지를 위한 딥러닝 기술

• Convolution Neural Network(CNN)
  • 카메라 영상을 입력으로 하여 원하는 결과를 얻어냄
  • 2차원 배열 데이터를 처리하기에 유리한 구조
  • 자율주행차 적용 사례 : 카메라 영상을 기반으로 동적 객체와 정적 객체 검출
• Recurrent Neural Network(RNN)
  • 시간적으로 순차적으로 들어오는 데이터를 입력으로 하여 원하는 출력을 얻어냄
  • 음성인식, 자연어처리, 시계열 데이터 분석 등에 사용
  • 자율주행차 적용 사례 : 주변 동적 객체의 과거 경로로부터 미래 경로 예측
  • 특히 Long Short Term Memory(LSTM) 모델이 유명함

딥러닝 기반 인지 시스템 사례

테슬라와 구글 웨이모의 자율주행차 인지 기술

• 테슬라 자율주행차 인지 기술
  • 최근 오토파일럿에서 FSD(Full Self Driving)기술로 진화
  • 카메라 센서와 레이더 센서만으로 구성
• 구글 웨이모의 자율주행차 인지 기술
  • 라이다 사용
  • 카메라와 레이더는 라이다 보조
  • 라이다 센서를 직접 설계해 사용

자율주행차 인지 오류로 인한 사고 사례

• 2016년 5월 테슬라의 자율주행차 사고
  • 테슬라 모델 S가 오토파일럿 기능을 켠 상태로 흰색 트레일러와 충돌하여 운전자가 사망
• 2018년 3월 우버의 자율주행차 사고
  • 자율주행 시험 운행 중이던 우버 차량이 자전거를 끌고 무단횡단하던 40대 여성과 충돌하여 여성 사망

카메라 센서 개요

카메라 센서 원리

• 카메라 렌즈를 통해 들어온 빛을 전기적 신호로 변환해서 주변에 대한 정보 제공
• 초점 거리 : 렌즈의 중심에서부터 필름에 영상이 맺히는 사이의 거리
• 화각 : 화면을 구성하는 각도
• 초점거리 짧으면 화각 큼

카메라 구조

• 핀홀 카메라
  • 핀홀, 즉 작은 구멍을 통해서 빛을 받아들임
  • 초점 거리에 따라 물체 크기 변화
• 렌즈 카메라
  • 렌즈의 빛의 굴절 특성 이용
  • 렌즈에 의한 왜곡 보정 필요

영상의 표현 방법

• x축 y축의 2차원 배열로 표현
  • 해상도 : 배열의 크기
  • 픽셀 : 배열의 원소
• 프레임 비율 : 1초 동안 보여주는 영상 프레임 수
• RGB 영상의 색상 표현 : 적색(Red), 녹색(Green), 청색(Blue)

카메라 캘리브레이션(보정) 기술

카메라 좌표계

• 카메라에서 물체를 표현하는 좌표계

카메라 내부 파라미터

• 월드 좌표계와 카메라 좌표계의 변환에 영향을 주는 카메라 내부의 기계적인 셋팅을 설명하는 파라미터
• 초점 거리 : 렌즈의 중심과 이미지 센서 (CMOS 또는 CCD)와의 거리
• 주점 : 렌즈의 중심에서 이미지 센서에 수직으로 내린 점의 영상 좌표
• 비대칭 계수 : 이미지 센서의 Cell Array의 Y축이 기울어진 정도

카메라 캘리브레이션

• 월드 좌표계에서 카메라 좌표계의 변환을 알기 위해 카메라의 내부 파라미터 값을 알아내고 카메라 렌즈에 의해 생긴 왜곡을 보정하는 과정
• 자율주행차가 월드 좌표계에서의 물체 상태나 환경을 카메라 영상을 이용하여 이해하기 위해서는 카메라 캘리브레이션이 수행되어야 함

카메라 기반 물체 검출/추적 기술

• 카메라 영상을 입력으로 받아서 물체의 위치와 종류를 알아내는 기술
• 카메라 영상에 Convolutional Neural Network(CNN)를 적용하여 물체의 특징을 추출한 후 이를 이용하여 물체를 검출함
• 딥러닝 기반 물체 검출 방법 : 1단계 방법과 2단계 방법으로 나누어짐
  • 1단계 : 간단한 구조로 인해 계산시간이 빠름(YOLO, SSD, RetinaNet)
  • 2단계 : 검출 정확도가 더 높음(Faster RCNN, Mask RCNN)

카메라 기반 물체 추적 기술

• 각 비디오 프레임에서 얻어진 물체 검출 결과를 이용하여 시간에 따라 움직이는 물체를 추적하는 기술
• 움직이는 물체를 추적하기 위해서는 현재 비디오 프레임과 이전 비디오 프레임에서 얻어진 물체 검출 결과 중 같은 물체끼리 연결해 주는 과정 필요
• 같은 물체로 판명되면 해당 물체에 대한 ID 번호 부여
• 새로 등장하거나 퇴장하는 물체에 대해 관리

카메라 기반 영역 분할 기술

카메라 기반 영역 분할 기술 개요

• Semantic 영역 분할 기술 : 컴퓨터 비전 기술 중에 카메라 영상에서 같은 종류에 해당하는 영역을 분할하고 그 영역의 종류를 분류하는 방법
• Semantic 영역 분할 기술을 이용하면 차로, 도로, 횡단보도, 과속방지턱 등 검출 가능

카메라 기반 차로, 도로 영역 검출

• Semantic 영역 분할 기법
  : 카메라 영역의 각 픽셀이 어떤 카테고리에 속하는지 분류
• 다양한 주행 카메라 영상에 대해 각 픽셀별로 라벨링을 해 높은 학습 데이터를 사용하여 딥러닝 모델을 트레이닝
• 자율주행차가 차로를 준수하고 안전한 주행도로로 다닐 수 있도록 유용한 정보 제공
• 지도 기반 자기 차량 위치 측위에 사용

레이더 센서 종류 및 작동원리

레이더 센서 종류

• 사용 주파수 대역에 다른 구분
  • 24GHz 대역 : 근거리용 레이더 사용
  • 77GHz 대역 : 원거리용 레이더 사용
• 신호 송신 방식에 따른 구분
  • 펄스 레이더 : 송수신 신호 간의 전파지연 시간을 이용해 상대 차량과의 거리 추정
  • FMCW 레이더 : 송신 신호와 수신 신호를 이용해 목표와의 거리 및 상대속도 추출

레이더 센서 작동원리

• 펄스 레이더
  • 하나의 안테나를 사용하므로 송수전환기(송수신격리기)를 통해 송신 신호와 수신 신호를 분리하여 처리
  • 다음 펄스의 송신이 일어나기 전에 반사 펄스가 들어오도록 하고 수신된 시간과 전력으로부터 거리 계산을 수행
• FMCW 레이더
  • 디처핑 방법(송신 신호 x 수신 신호)을 적용하여 비트 주파수 성분을 얻게 됨
  • 비트 신호의 스펙트럼을 분석하여 물체의 거리와 속도 계산

레이더 신호 특성

• 자율주행차에는 밀리미터 파장 대역인 24GGz와 77GBz의 부근의 레이더 주파수 대역이 사용됨
• 전자기파는 날씨, 밝기, 시야가림 등의 환경 변화에 강한 특성을 보임
• 77GHz는 24GHz에 비해 안테나 모듈 크기를 작게 만들 수 있고, 지향성이 더 좋고, 인체에 미치는 영향도 적음
• 클러터 문제 : 물체가 없는 위치에 신호가 검출되어 오탐률을 높임
  → 실제 물체와 클러터를 구별할 수 있도록 고성능 신호처리 알고리즘 필요

레이더 신호를 이용한 물체 검출

• 레이더 신호의 주파수 분석
  • 수신 신호에 고속 푸리에 변환(FFT) 기법을 적용하여 물체 검출 수행
  • 주파수 성분에 배경 잡음과 클러터 등의 간섭 신호들이 존재
    → 간섭 신호 하에서도 일관된 오탐률을 유지하는 기술인 CFAR 적용
• 배열 안테나를 이용한 각도 측정
  • 하나 이상의 안테나 원소로 구성된 배열안테나 이용
  • 수신된 신호의 위상 차이를 이용하여 수신 신호의 각도 추정

레이더의 송수신기 구조

레이더 신호처리 기술

• 믹서
  • 송신 신호와 수신 신호를 곱하여 두 신호의 주파수와 합과 차를 주파수로 갖는 신호를 발생시킴
• 저대역 필터
  • 고주파 신호를 걸러내고 저주파 신호만을 그대로 통과시키는 필터
• 아날로그 디지털 컨버터(ADC)
  • 아날로그 신호를 디지털 신호로 변환해 주는 시스템
• 고속 푸리에 변환(Fast Fourier Transform)
  • 비트 주파수 성분 분석을 통해 물체 검출
• CFAR(Constant false alarm rate) 검출기
  • 오탐률을 일정하게 하는 검출기
  • 주변의 잡음 환경에 따라 임계값(Threshold)을 적응적으로 조절

레이더 기반 물체 검출 기술

레이더 기반 물체 검출 기술 개요(타겟 물체 검출 과정)

• 수신 신호 x 윈도우 -> 주파수 분석 적용
• 윈도우를 시간축으로 움직이면서 주파수 성분 변환을 수행하여 시간-주파수 영역의 신호 영상을 얻음
• 이를 거리-도플러 영억으로 환산할 수 있으며 2차원 영상에서의 하나의 원소를 셀이라고 부름
• 거리 도플러 영역에서의 하나의 셀 = 차량에서 물체까지의 거리와 상대 속도
• 각 셀에서의 신호의 세기를 임계값(Threshold)과 비교하여 수신 신호의 에너지가 임계값보다 높으면 물체가 검출이 된 것으로 판단

레이더 기반 물체 검출 기술 원리

• 정해진 오탐률을 달성하기 위해 적절한 임계값(Threshold)을 결정해야 함
• CFAR 검출기를 이용하여 임계값(Threshold)을 환경에 따라 조절
• CFAR 검출기의 원리
  • 주어진 셀이서의 신호의 세기를 임계값과 비교하는 경우, 주변셀들의 잡음의 에너지를 예측하여 임계값을 결정하는 방법
• 배열 안테나를 이용한 방향 측정: 위상 차이를 분석하여 신호의 입사 방향 측정

라이다 센서 종류 및 개요

라이다 센서 개요

• 직진성이 강한 고출력 펄스 레이저를 송신하고 수신 시 지연시간을 분석하여 물체 탐지와 거리 측정 수행
• 장점: 먼 거리의 물체도 정확히 감지 가능하고 위치 측정의 정확도가 높음
• 단점: 높은 센서의 가격

라이다 센서 종류

• 회전형과 고정형
  • 회전형 : 센서를 직접 기계적으로 회전하여 넓은 각도의 환경 정보 획득
  • 고정형: 환경 정보를 터득하고자 하는 각도에 설치하여 운용
• 라이다의 구현방식
  • 기계식 라이다: 기계적인 모터를 사용하여 주변 영역을 스캐닝
  • MEMS 라이다: MEMS 기술을 이용하여 작은 반사 거울을 제어하여 주변 영역을 스캐닝
  • 플래시 라이다: 단일 레이저 빔을 광 시야각으로 확장하여 송신하고 반사되는 레이저 빔을 다중 배열 수신 소자를 통하여 수신
  • FMCW 라이다: 레이더에 사용되는 FMCW 신호 분석 원리를 적용 거리뿐만 아니라 속도 측정도 가능

라이다 센서 특성 및 데이터

라이다 센서 특성

• 라이다에서 발사한 레이저가 물체에 반사되어 돌아오는 지연 시간으로부터 물체까지의 거리 측정
• 3차원 영역에서 인지를 수행하는 데 좋은 성능을 가짐
• 해상도가 높을수록 과
• 가로 방향으로 얼마만큼의 포인트를 얻어내는가?
• 수직적으로 몇 개의 채널을 사용하는가?
• 먼 물체의 경우, 라이다 데이터의 분포가 희소하여 검출 성능이 저하됨 -> 센서 융합을 통해 극복 가능

라이다 데이터 표현 형식

• 물체에 반사되어 돌아온 위치를 4차원 데이터 (X, Y, Z, I)로 표현
• 여러 개의 (X, Y, Z) 포인트 데이터가 모여서 라이다 포인트의 집합인 포인트 클라우드 형성
• 라이다 채널 수, 회전 속도 등에 의하여 해상도 결정

라이다 기반 물체 검출 기술

라이다 기반 물체 검출 기술 개요

• 라이다 센서 데이터를 분석하여 물체의 위치와 종류 추정
• 포인트 클라우드 데이터를 분석하여 주변 동적 객체 검출

라이다 기반 물체 검출 기술 분류

• 3차원 검출 결과의 표현 방법에 따른 분류

  • 3차원 영역의 물체 검출 방법: 3차원 영역에 물체를 포함하는 3차원 박스로 물체의 위치 표현
  • 조감도 영역의 물체 검출 방법: 주변을 위에서 내려다 보는 방향에서 물체를 2차원 박스로 표현

• 라이다 데이터 전처리 방식에 따른 분류

  • 복셀 기반 라이다 처리: 3차원 공간을 복셀이라고 불리는 작은 3차원 블럭으로 나눈 후 각 복셀 안에 있는 라이다 포인트 클라우드를 처리하여 물체에 대한 정보 추출
  • 라이다 포인트 클라우드를 직접 처리: 포인트넷이라고 하는 딥러닝 방법을 적용하여 포인트 클라우드에서 직접 물체와 관련된 정보 추출

라이다 기반 물체 추적 기술

라이다 기반 물체 추적 기술 개요

• 라이다 센서를 통해 얻은 검출 결과들을 시간적으로 연결하고 연결된 검출 결과에 물체 ID를 부여하는 작업
• 라이다로부터 3차원 물체 검출 결과를 연결함으로써 3차원 공간에서의 물체 움직임 추적
• 물체 추적 기술은 동적 객체들의 트랙을 관리하는 것이 핵심

라이다 기반 물체 추적 기술 동향

• 최근에 딥러닝 기술이 물체 검출 기술뿐만 아니라 물체 추적에도 적용되는 추세
• 물체 검출, 추적을 통합적으로 설계하여 보다 좋은 인지 성능 달성 가능
  • 검출 기술에서 추출된 특징값들을 활용하여 추적 기술의 성능 개선
  • 추적 기술에서 사용하는 시간적인 상관도를 활용하여 물체 검출 성능 개선