by 국민대 유진우 교수님

자율주행 자동차 판단 기술(심화)

[차량 센서 관점에서의 판단 기술 심화]

차량 센서의 특성 및 원리

• 카메라
  -사람의 눈과 가장 유사한 센서 형태
  -범용적으로 많이 사용되는 센서
  -장점 : 가격이 낮음, 정보의 양이 많음
  -단점 : 거리 정보에 약함, 조도 변화에 성능 하락 발생
  -가장 대중적인 센서이고, 인지하는 결과물이 사람의 눈과 가장 비슷하기 때문에 계속적으로 발전할 것으로 예상

• 라이다
  -자율주행 시대의 필수센서
  -Point Cloud 형태로 데이터 구성
  -905~1550nm의 짧은 파장으로 공간 분해능이 우수
  -반사도 정보 활용이 가능
  -장점 : 점 단위의 거리 정보로 매우 정확함, 카메라에 비해 조도,날씨 변화에 강인함
  -단점 : 가격이 높음, 정보의 양이 부족함

• 레이더
  -ADAS에 많이 활용
  -고속도로 자율주행에 활용
  -반사되어 돌아오는 시간을 측정하여 거리를 측정
  -파장이 길기 때문에 공간분해능이 약함
  -우리나라는 76~77GHz의 1GHz 대역폭을 차량용으로 할당
  -장점 : 긴 센싱 거리, 정확한 종방향 센싱, 카메라에 비해 조도,날씨 변화에 강함
  -단점 : 비금속 물체에 취약, 부정확한 횡방향 센싱
  

센서 융합의 필요성

• 주행상황에 따라서 센서별 신뢰도가 달라질 수 있음
• 하나의 센서에 의존해서는 안전성이 보장되기 힘듦 -> 센서 융합이 반드시 필요!
  

[도로 인프라 관점에서의 판단 기술 심화]

거시적인 관점에서의 자율주행

-자율자동차 시스템 및 운영 제어
-자율자동차 SW 플랫폼
-자율자동차 보안체계
-안되는 것 : 범용적인 자율주행 솔루션은 거시적 관점에서 자율주행을 나눌때 적합하지 않다.(퀴즈)

거시적인 관점에서의 자율주행 구성 요소 이해

• 자율주행차 시스템 및 운영제어
  -고성능 컴퓨팅 하드웨어 필요
  -소프트웨어 & 하드웨어 -> 자율주행차 시스템 => 전체 통합 시스템 기반 자율주행 구현
  

• 자율주행차 sw 플랫폼
  -거대하고 이동 가능한 스마트폰과 같은 역할
  -자율주행 소프트웨어 플랫폼 표준화 추진중(AUTOSAR)
  -> 추후 어떤 플랫폼이 대세를 이루어 자율주행차에 탑재될지는 미지수
  -단순히 sw 구동 플랫폼 이상의, 자율주행차의 다양한 활동을 지원하는 sw플랫폼 서비스 회사 -> sw 플랫폼을 장악하는 회사가 강력한 차량 서비스 생태계를 갖게 되는 효과
  

• 자율주행차 보안체계
  -V2X 시대가 열리면 차량의 보안체계는 매우 중요해질 것으로 예상
  -통신에 대한 해킹을 방지하는 기술 발전 필요
  -직접적 해킹을 못하도록 구조화(주행에 관련된 부분 -> 별도 처리)
  -자율주행의 대중화 + 초고속 통신망의 활용성 증가 -> 보안체계 발전 예상
  -통신기반의 V2X 기술은 도로 인프라 활용 부분의 핵심!
  -실시간 양방향 정보 공유
  
  -클라우드 및 디지털 인프라 : 차량의 클라우드 및 디지털 인프라와 상호 정보 교류
  (정밀지도 HD Map : 지도 다운로드, 지도 업데이트)
  (정밀지도 HD Map : 최신 자료 반영 필요)
  

[Rule-Based Approach 기반 판단 기술 심화]

Rule-Based Approach의 개념과 상황별 예시

• 엄격한 규칙에 따라 의사결정 판단
• 규칙 기반 의사결정 + 주행 상황에 맞는 규칙 설정 -> 적합한 주행 결정
• 예> 간단한 고속도로 상황 : 앞차와의 거리 유지, 차선 유지
  (고려사항 : 자차의 속도, 전방 차량 속도, 전방 차량 거리)
• 예> 복잡한 도심 환경 : 복잡한 상황에 대응할 수 있는 다양한 입력 변수(주변차량, 각종 신호등, 보행자 등) -> 입력 변수들로 설정한 규칙에 해당하는 다양한 결과 행동

Rule-Based Approach의 특성에 따른 적합한 대상 환경

1. 입력 변수 정의
   
2. 입력 변수의 규칙 설정
   
3. 규칙에 따른 결과 행동 정의
   

• 규칙을 만든 조건과 그에 따른 결과 행동이 분명하다면? 적합한 Rule-Based Decision-Making

[AI-Based Approach 기반 판단 기술 심화]

AI-Based Approach의 개념과 상황별 예시

• 딥러닝과 강화학습을 이용해 주행 데이터를 학습 -> 주행상황 판단, 행동 실행
• 예> 간단한 고속도로 상황 : 앞차와의 거리 유지, 차선 유지
  (차간 거리가 가까워진다면? 행동 Reward 감속)
  (차간 거리가 멀어진다면? 행동 Reward 가속)
• 예> 복잡한 도심 환경 : 다양한 정보 공존
  -> 딥러닝 모델, 강화학습 모델 학습 변수 증가, 입력 정보 수 증가
  -> 종류별로 방대한 학습 데이터 필요
  -> 차량 센서 정보, 통신 정보 등 상황에 따라 이동되는 정보의 우선순위 레벨 변경

데이터와 인공지능 모델 성능 간의 상관관계

• 학습 데이터 활용 방법
  -많은 양의 학습 데이터
  -제한적인 학습 데이터 기반으로 데이터 증폭
  (동일한 데이터로 학습 데이터를 증폭시키는 방법론 연구)

• 학습 데이터 확보
  -데이터 증폭, 자동 데이터 생성, 가상 데이터 기반 데이터 확보 등 많은 연구가 활발히 진행 중

[차선 유지 주행 판단 심화]

차선 유지 주행 판단 개념과 기술 원리

• ADAS : LKAS 기능을 포함한 차선 유지 보조 시스템
  (ADAS는 운전자 보조 시스템으로 운전자가 주된 운전자이면서 운전자를 돕는 시스템이므로 자율주행과 기술은 유사하지만 본질적으로 다른 개념이다.)
• 차선 유지를 실현시키기 위해서는?
  -차량 센서 측정을 위한 외부 환경 정보 필요(자차의 차선 정보, 전방 차량의 거리,속도 정보 실시간 획득 -> 차선 유지에 대한 주행 판단 진행)

현재 차선 유지 보조 시스템 기술 원리와 개선 방안

• 2가지 센서의 입력 정보 : 카메라 센서, 레이더 센서 -> 현재의 차선 유지 보조 시스템 구현
• 카메라 센서는 차선 정보를 인식(차선 중앙 주행의 여부 판단)
• 레이더 센서는 넓은 측정 거리 -> 전방 선행 차량의 거리,속도 정보 인식(자차와 상대거리,속도 정보 획득)
• 자율주행 X, 운전 보조 시스템 O(ADAS 기능 중 하나!)
• 차선 및 전방 차량 인식에 대한 부정확성 증가, 예상 밖 정보 입력
  (-> 운전자에게 경고를 줌, 제어권 운전자에게 넘김)

차선 유지 보조시스템에서 자율주행을 위한 개선 방안

1. 라이다 센서로 차선 인식 부분 활용(3차원 Point Cloud 정보 제공)
   (도로 바닥 추출 기술 + 반사도 정보 필터링) -> 도로의 차선 정보 검출
   (조도 및 날씨 변화에 성능이 저하되는 카메라 기반 차선 인식 기술에, 라이다 기반 차선 인식 기술을 통합하면 안전성과 효율성이 더 높은 차선 인식 기술 확보 가능!)
2. V2V 통신 기술을 통한 전방차량 인식

• 전방차량의 거리,속도 인식 기술 + V2V 통신 기술 기반
• 차량 간의 거리,속도 정보 실시간 공유의 경우 -> 레이더의 전방 차량 인식 정보와 융합 사용 가능
• 통신 기반 인식 기술 융합 -> 레이더 센서의 한계 극복 + 안전성, 효율성 높은 전방차량 인식 기술 구현 가능

[차선 변경/추월 주행 판단 심화]

차선 변경을 위한 주행 판단 개념과 기술 원리

• 전방 차량의 서행, 정차 등의 외부 환경 정보를 입력받아 차선을 유지할지 차선을 변경할지를 결정한다
• 차선 변경은 주행의 많은 부분을 차지하므로, 사람 수준 이상의 안전하고 효율적인 자율주행 기술 구현에 꼭 필요!

차선 변경 기술 원리

1. 목표 차선 후방 차량의 거리 속도 측정
   -카메라, 레이더, 라이다 등의 센서를 활용
2. 목표 차선 전방 차량의 거리,속도 측정 후 차선 변경 가능 여부 판단
   -목표차선의 전후방 차량과 자차의 상대속도 고려
3. 차선 변경 시 진입에 필요한 속도 계싼 후 차선 변경 실행
   -360도 센싱을 통한 측정

다차선 도로 차선 변경 예시와 개선 방안

• 예> 다차선 도로에서, 주변 차량의 상대거리,속도에 따라 차선 변경에 대한 주행 판단 가능
  (일정 반경 모든 차량의 거리 및 속도 실시간 획득 -> 목표 차선으로 도착하는 시점까지 안전성 체크)

• 가장 중요한 정보 : 목표 차선 전후방 차량
  (안전을 위해 현재 차선의 차량들 정보 실시간 획득 필요, 별도 차선의 차량들 정보도 실시간 획득 필요
  (별도 차선의 차량들 정보가 필요한 이유는? 1,2개의 차선을 순식간에 바꾸는 공격적 차량 때문)

• 실시간 인식(Real-time Detection)과 물체 추적(Tracking)
  ->안정적 인지 기술 마련!
  

• 센서의 고장 문제, 항상성 유지 문제 때문에, 기술 구현의 중복적인 장치 요구됨 -> 문제 해결을 위한 통신 기반의 보완 방안

• V2V 통신을 통해 차량 간 거리,속도 정확히 공유
  

[교차로/좌,우회전 주행 판단 심화]

교차로/좌,우회전을 위한 주행 판단 개념과 기술 원리

• 여러 교통 신호등 및 표지판 이해
• 보행자, 자전거, 오토바이, 킥보드 등 동적 물체 존재
  -> 쉽지 않은 주행상황!
• 다양한 정보 -> 우선순위 결정 -> 상황별 적절한 사용 및 판단

교차로 좌,우회전 원리

1. 교차로 진입 초기 단계
   -카메라 : 도로교통 신호등 및 보행자 횡단보도 신호등 인식
   -레이더&라이다 : 주변 차량들의 거리 및 속도 인식
2. 교차로 중앙 진입 단계
   -보행자, 자전거 등이 없을 확률이 높음
   -차선의 부재로 난이도가 높은 영역
   -차선 인식 기반 의존도 하락, 협력주행 진행, 가상경로 생성 필요
3. 교차로 진입 마지막 단계
   -보행자, 자전거 등 출현 지역
   -횡단보도, 신호등 등 여러 정보 고려
   -다른 차선에서 오는 차량과의 충돌 예측

교차로 좌회전 시나리오 시 V2X 기술 효용성

• 도심 교차로 상황에서는 고려할 정보도 많고, 하나의 부정확한 정보만으로도 합리적 주행 판단이 어렵다 -> V2X 기반 통신 기술 활용!
• V2X 기술, 교차로 상황에서 가장 효율적!
  
• 센서 기반 관점 + V2X 기반 관점 -> 교차로 이해

[돌발상황/사고상황 주행 판단 심화]

돌발상황/사고상황을 위한 주행 판단 개념과 방법론

• 주어진 상황 자체가 다양해 모든 경우를 대응 필요!
  (돌발 상황-정형화하기 어려울 정도로 종류가 다양함, 사고상황-사고 발생의 경우가 많음) -> 장면 상황을 특정 짓기 어려움
• 돌발상황 및 사고상황에 대한 주행 판단이 어려운 이유
  -발생 가능 상황의 다양성

현재 차선 유지 보조 시스템 기술 원리와 개선 방안

• Rule-Based Decision-Making
  -다양한 돌발상황, 사고상황 학습데이터 확보
  -학습시킨 네트워크 모델을 통해 장면 분류 및 장면 이해 기술 구현 가능
  
• 인공지능 기술을 적용하여 기술의 저변 확대, 성능 개선 연구 진행
  (양질의 학습 데이터 + 합리적 네트워크 설계)
  

[열악한 날씨상황 주행 판단 심화]

열악한 날씨상황을 위한 주행 판단 방법론

1. 기존 차량에 탑재되어 있는 레인 센서 활용
   -추가 센서가 필요없음
   -정확한 도로 날씨상황 예측 불가능
   -대략적인 눈,비 양 확인, 와이퍼 작동 조절을 위한 센서
   -대응 가능 : 주행 저속 변경, 급격한 횡방향 이동 제약
   -한계 : 날씨상황 인식에 특화되지 않음, 대략적인 날씨 상황만 확인 가능
2. 슬립 추정 방식 활용
   -도로와 타이어의 미끄러짐 파악 가능(타이어와 지면 상태의 관계 파악)
   -종,횡방향에 대한 안전속도 범위 추정 가능
   -정확한 슬립 추정의 어려움
   -슬립 추정이 정확하게 된다면, 안전한 속도 영역을 도출해낼 수 있음
3. 카메라, 라이다 센서 기반의 딥러닝 기술 활용
   -비교적 정확한 날씨상황 파악 가능
   -방대하고 다양한 종류의 학습 데이터 필요
   -섬세한 날씨상황 판단 가능(카메라=사람의 눈 역할)
   -날씨상황 인식 + 날씨상황에 따른 주행 행동 -> 딥러닝 네트워크를 통해 수행(날씨 별 적합한 주행 속도 설정 가능)
   -날씨 인식, 카메라 영상, 도로 마찰계수, 권장속도 등 고려

[V2X 정보 기반 주행 판단 심화]

V2X 정보 기반 주행 판단 개념과 기술

• 자율주행을 위한 다양한 정보를 실시간으로 상호 공유
  

• V2P(Vehicle-to-Pedestrian) 기술 : 차량과 보행자 간의 통신을 통한 정보 공유
  -사람이 운전할때는, 뛰어난 추론 능력을 바탕으로 보행자 행동 단기척 예측, 보행자 행동 긴급 대응 가능
  (갑자기 튀어나온 보행자, 무단횡단 하는 보행자도 어느 정도 대응 가능)
  (위치,거리,속도 등 센서로 파악, 보행자의 행동 옟측 및 의도파악 진행)
  -자율주행 자동차의 경우는, 통신 기반 보행자 위치 인식 등의 연구도 많이 진행되는 실정!

• V2C(Vehicle-to-cloud) 기술
  -차량 센서를 통해 취득한 센서 정보 업로드
  -클라우드에서 제공한 정밀지도 다운로드
  -클라우드 컴퓨팅 및 엣지 컴퓨팅 기반 차량 센서 정보 대량 업로드
  -중앙서버 및 엣지서버 처리 정보들을 실시간으로 받는 과정
  -근 미래 자율주행을 위해 다방면으로 활용이 될 분야!
  -많은 기관에서 차량용 클라우드 서비스 준비 중일것으로 예상

V2X 통신 기반 자율주행의 한계

• 통신 상황이 쾌적하여 딜레이가 없다고 가정할 경우? 굉장히 정확한 정보를 얻을 수 있음
• 제한된 시나리오에서 V2X 관점의 기술만으로 자율주행 구현 가능
• 통신만을 활용한 자율주행 방식은 모든 주체들에 통신 단말기가 있어야 하므로, 실제적으로 어려운 측면이 있음
• 따라서 센서 기반 인식 기술 반드시 필수적으로 필요!
• V2X 통신 기반으로는 통신 인프라 문제, 통신이 다룰 수 있는 정보의 종류와 양의 한계 문제가 있으므로, 센서 기반 인식 기술을 같이 활용하여 실시간으로 진행하여야 함

[Fail Safe 주행 판단 심화]

Fail Safe에 대한 주행 판단 개념

• 사람이 운전할 경우에는 결함 등이 있을 경우, 사람이 항상 집중하고 있으므로 안전에 대해 어느 정도 대응 가능

• 자율주행차 운전의 경우, 운전에 사람의 개입이 점점 없어지는 추세로, 완전 자율주행 상황(운전자의 개입 0인 상태)을 위해 자동차 스스로 고장 진단 및 극복 프로세스 필요!

• Fail Safe : 차량 일부 결함 또는 고장 발생 시 안전장치 작동 및 사고나 파괴 예방

Fail Safe의 3단계

1. Fail Passive
   -부품이 고장 나면 운행 통상 정지
   -엔진, 모터 등 주행 안전성과 직결된 부품, 조향, 가,감속과 직접적 관련된 부품 -> 운행 즉각 정지!
2. Fail Active
   -부품이 고장 나면 경보를 울리며 짧은 시간동안 운전 가능
   -주행 안전성과 관련은 있지만 즉각적인 정지까지는 요구하지 않는 고장
3. Fail Operational
   -추후 보수가 될때까지 기능 유지
   -운전상 가장 선호하는 방법론(구조적, 기능적으로 가장 바람직)

• 고장, 결함의 종류에 따라 주행 안전성 고려하여, 정의에 따라 명확하게 분류하여 사용자의 안전성 극대화 -> 올바른 Fail Safe 전략

[LiDAR SLAM 기반 정밀지도 생성 방법론]

라이다(LiDAR)의 개념

• Light Detection and Ranging
• 레이저를 통해 거리를 측정하는 센서
• 자율주행 자동차 구축을 위한 필수 센서
• Reflectivity(반사도) 정보 활용 가능
• 수많은 Laser Point들의 집합, Point Cloud 데이터
• 반사되어 돌아오는 Time 측정으로 거리 측정
• 공간분해능이 우수해 cm 영역 거리 정확도 파악 가능
  

라이다(LiDAR)의 주요 역할

1. 3차원 물체 인식
   
2. 지도생성 및 자차 위치인식
   

SLAM의 개념(Simultaneous Localization And Mapping)

• Mapping과 Localization 동시 실행 알고리즘
• 지도생성과 위치인식을 동시에 해 나가는 알고리즘(동시에 정확하게)
• SLAM을 통한 최적화 결과 : 현실세계와 더 정확하게 일치되는 위치 정보와 Map 정보 획득
• 현실세계와 매우 유사한 3차원 정밀지도 제작 가능
• LiDAR SLAM : Odometry 정보, GPS 정보, LiDAR Scan 정보
  -> SLAM 알고리즘 기반 LiDAR scan 최적화와 차량의 정확한 위치추정 수행(현실세계와 매우 유사한 LiDAR 정밀지도 생성)
• EKF-SLAM, Fast-SLAM, Graph-SLAM : 정확한 맵과 위치 추정을 위해 계속적으로 발전중인 연구 분야
• LiDAR는 cm 단위의 정확도 가짐

[LiDAR 기반 위치인식 방법론]

자율주행에서의 위치인식과 GPS 종류에 따른 개념

• 자율주행에서의 위치인식(Localization) : 자차의 위치를 높은 정확도로 인식하는 기술)
• DGPS(Differential GPS) : 기준국(Reference Station) 유효반경 내 위치한 GNSS 수신기 오차 보정 방식
• RTK-GPS(Real-Time Kinematic GPS) : DGPS를 고도화한 기술
  

LiDAR 기반 위치인식의 기술적 원리

• Scan-matching & Map-matching
  

• Voxel Grid Filter 등의 Down Sampling 방식
  -LiDAR 맵 정보, LiDAR scan 데이터 -> 자차 위치인식 알고리즘의 실시간성 향상

• 자차의 위치 추정(Scan-matching)
  

• ICP 방식(Iterative Closest Point)
  -점들을 실제로 그대로 사용하여 Matching에 활용
  -NCT 방식에 비해 Rotational error가 적음

• NDT 방식(Normal Distribution Transform)
  -LiDAR 점들을 Mean과 variance로 모델링하여 Matching에 사용
  -Initial Pose를 빠르게 찾음

[Camera SLAM 기반 정밀지도 생성 방법론]

SLAM의 개념과 2개의 센서 기반 SLAM 비교 분석

• SLAM 알고리즘은 지도생성과 위치인식을 동시에 해 나가는 알고리즘으로, 미지의 영역에 대해 탐색하여 정밀한 지도 제작 가능
• LiDAR-based SLAM 과 Camera-based SLAM의 비교
  -기본적인 SLAM의 핵심 구성 요소 거의 비슷함
  -LiDAR : Scan에서 정확한 거리 정보를 담은 점들의 집합 데이터 입력 활용
  -Camera
  

Feature-based 방식과 Direct method 방식

• 카메라 입력 데이터를 SLAM에 활용할 경우!

• SLAM 전반부 영상의 정보 사용에 따라 나뉨
  
  -키워드 : ORB-SLAM
  
  -키워드 : LSD-SLAM

• ORB-SLAM의 알고리즘 구조도
  

• Tracking, Local Mapping, Loop Closing -> 멀티스레드 동작
  -> ORB-SLAM 실시간 구동

[Camera 기반 위치인식 방법론]

Camera 기반 위치인식 기술 개념 및 원리

• Camera 기반 위치인식 기술이란?
  -Camera 영상 데이터 기반의 정밀지도 : 자차에 실시간으로 들어오는 영상 데이터를 활용(위치인식, localization을 하는 기술)
• Featured-based 방식, Direct 방식
  -SLAM 전반부 처리와 유사한 원리, 영상 기반 위치인식 가능

Camera 기반 위치인식 기술 원리

• ORB-SLAM 알고리즘
  -Camera 기반으로도 정밀 지도상에서 위치인식이 가능하게 됨
• 유의사항 : 지도 생성 방법과 일치되는 위치인식 필요!
  

[A* 알고리즘 심화]

A* 알고리즘 개념

활용
1. 자율주행 자동차
2. 기타 다양한 application
-> 기술의 확장성이 좋은 알고리즘

A* 알고리즘 원리

• A* 알고리즘 원리의 4단계

1. 탐색영역 파악
   자차의 위치, 장애물의 위치, 최종 목적지점
2. 경로 채점
3. 계속적 탐색
4. 경로 선택
   
   

• A* 알고리즘이 반복적으로 계속 수행되어야 하는 이유
  -주변의 동적/정적물체 환경이 변하는 상황 대응(퀴즈)

[RRT 알고리즘 심화]

RRT 알고리즘 개념 및 원리

• 무작위 샘플링을 사용
• 고차원 구성 공간을 탐색(경로 계획 알고리즘)
• 지속적인 공간 탐색/확장
• 반복적으로 구성 공간 내에서 임의의 한 점 X(rand)를 확장
• 시작점으로 구성된 검색 트리 T를 확장하는 방식
  

RRT 알고리즘 적용

X(init)(현재 자차의 위치) -> 일정 탐색 영역 지정 -> RRT 알고리즘 -> 주행 가능 경로생성

RRT 알고리즘과 샘플링 포인트를 뿌리는 방법에 대한 고찰

• 샘플링 포인트 확장 방식에 따라 RRT 알고리즘 성능 결정
• Random 포인트들을 주변에 계속적으로 뿌려서 경로 후보들을 확장해 나가는 알고리즘이기 때문
• RRT 알고리즘 특성
  -샘플링 기반 방식이다
  -Optimality는 다소 부족하다
  -샘플링 포인트가 많으면 실시간성이 떨어진다
  

[RRT* 알고리즘]

RRT* 알고리즘 개념

• 등장 배경
  RRT 알고리즘 + Optimality 측면의 개선

RRT 알고리즘과 RRT* 알고리즘 비교 분석

• Random Sampling 때문에 Optimality 보장이 되지 않으면, 선택된 경로가 BEST라는 보장이 없음
• RRT* 알고리즘만의 차별점
  -비용 함수의 도입
  -new state의 neighbor들을 optimal path로 rewiring 작업 추가
  -> RRT* 는 RRT에 비해 Optimality가 향상된 알고리즘!

[Reinforcement Learning 심화]

강화학습(Reinforcement Learning)의 개념

• 보상시스템으로 학습 : 보상(Reward)을 많이 받는 쪽으로 점차적으로 시스템이 진화
• 의사결정을 위한 최적의 액션을 선택할 수 있음
  
• 강화학습의 구성요소 : 보상(Reward), 상태(State), 주체(Agent), 행동(Action)

Policy, Value Function, Model 심화

• 주체(Agent)의 구성요소 : Policy, Value Function, Model

• Policy : Agent의 행동 패턴으로 주어진 State에서 어떤 Action을 취할지를 결정
  -Deterministic Policy : 주어진 state에 대해 하나의 action을 주는 것
  -Stochastic Policy : 주어진 state에 대해 action들의 확률 분포를 주는 것
  

• Value Function
  -State와 Action에 대하여 어느 정도의 Reward를 돌려줄지에 대한 예측 함수
  -이후에 받을 모든 Reward들의 합

• Model
  -환경(environment)의 다음 state와 Reward가 어떻게 될지에 대한 Agent의 예상
  -Model을 수립할 수 있다면 다음 state와 Reward를 단기적으로 예상 가능(행동 전에 미리 변화를 예상 -> 최적의 행동을 계획하여 실행)
  

[Reinforcement Learning 기반 경로생성 알고리즘 심화]

자율주행을 구현하기 위한 기술적 방법론

End-to-End 학습 방식 자율주행의 종류

1. 모방학습(Imitation Learning)
   -숙련된 운전자의 주행 패턴을 따라하는 모방학습을 통해 자율주행을 구현
   -전문가의 운전 주행 데이터(결과값이 담긴 데이터) -> 전문가가 하는 방식으로 주행(지도학습)
2. 강화학습(Reinforcement Learning)
   -시뮬레이터 또는 운전자 수동주행을 통해 강화학습 기반으로 모델 진화
   -적절한 주행에 Reward를 할당

• 인지/판단/제어 영역의 모든 과정을 하나의 신경망으로 대체 구성