# autonomous driving

kowoonho

1. Introduction 연구 배경 scene에 대한 semantic, spatial, temporal structure를 추론하는 것은 자율주행에 있어서 중요한 task이다. ⇒ dynamic scene을 정확히 받아올 수 있다. 이를 위해서, auxiliary(보조적인) task를 활용 예를 들어, CILRS의 경우 simple self-supervised auxiliary training을 통해, ego-vehicle의 velocity를 예측했다. NEAT는 auxiliary task로 BEV semantic prediction을 택했다. BEV semantic prediction

kowoonho

Introduction 연구 배경 기존 자율주행의 문제 ⇒ safety(High-traffic-density 상황에서 성능 저하) Lack of comprehensive scene understanding 신호위반 차량, 보행자가 갑자기 등장하는 상황 등에 취약 Lack of interpretability InterFuser multi-modal, multi-view 센서들로 부터 정보를 혼합해서 comprehensive scene understanding을 해결하였다. intermediate interpretable feature를 생성해 interpretability를 해결하였다. Comprehensive scene understanding Single-modal Single Image ⇒ 주변의 복잡한 상황을 받아오기 힘듦 Single LiDAR ⇒

kowoonho

1. Introduction E2E driving에서 Existing method의 한계 unobserved environment에 대해 정확한 결정을 내리기 어렵다. untrained urban area, weather condition, traffic congestion Network가 얼마나 safety-critical visual input을 얼마나 잘 인식하는지가 중요하다. New method Visual recognition sub task 또한 학습시키는 것이 unobserved environment에 대해 정확한 결정을 내리도록 한다. semantic segmentation, depth estimation, traffic light classification task Attention mechanism을 통해 salient region에 focusing 하도록 한다. Contribution

kowoonho

Background Vision Transformer https://velog.io/@kowoonho/논문-리뷰-Vision-Transformer 1. Introduction TransFuser란? Transformer와 Multi-Modal을 E2E driving에 적용시킨 모델 Multi-Modal : 다양한 형태의 데이터를 처리하는 모델 single-modal : $y=f(X_n^p)$ multi-modal : $y=f(X{term}^{doc},X{x,y}^{color}, X{time}^{voice}, X{time}^{sensor} )$ ⇒ 차원이 서로 다른 데이터들 Single Modal Image, Lidar 둘 중에 하나만 사용하는 method가 지금까지 e2e driving에서 좋은 결과를 보여줬다. ⇒ 하지만, 이들은 limited dynamic

spiraline

SVL Simulator란? SVL simulator는 자율주행 시뮬레이터다. 차량이나 여러 센서 등을 가상의 테스트베드에서 주행하고, 보행자나 다른 차량을 움직이게 하여 시나리오 구성이 가능하다. 원래 7월 30일에 서비스를 종료한다고 되어있어, 망한 글이 될 예정이었으나 12월인 현재까지도 서버가 살아있어 그냥 올리기로 한다. 무료이기도 하고 센서 설정 등을 다양하게 할 수 있어 무료인 자율주행 시뮬레이터를 찾는 사람에게 추천한다. Requirement 고사양 GPU (1080 이상에서 작동되는 것으로 추정) Python 3.X Ubuntu (windows에서도 SVL 실행은 가능하나 ROS 설치가 복잡해서 ubuntu를 추천한다) ROS (본 글에서는 Ubuntu 18.04를 사용하여 ROS Melodic version을 설치했다.) LKAS Demo 매뉴얼 내가 구현한 LKAS (Lane Keeping Assistance System)

spiraline

Intro 자율주행을 위해서는 현재 차량의 위치를 지도 상에서 특정하는 localization이 필요하다. localization은 단순히 GNSS를 통해서도 수행할 수 있지만, 오차가 있을 수 있어 대부분은 points map과 LiDAR에서 받아온 3D points 정보를 align (matching)하여 localization을 수행한다. (LiDAR만 쓰는 것도 한계가 있어 GNSS, IMU 등을 종합하여 사용하기도 한다) LiDAR 기반 localization은 센서의 성능도 중요하겠지만, points map에 matching을 하는 것이기 때문에 map의 quality도 매우 중요하다. Autoware의 경우 NDT 알고리즘을 기반으로 한 NDT mapping 모듈을 제공하나, 직접 사용해본 결과 align이 깨지면 못 쓸 정도의 map이 되어버린다. (시간이 날 때 NDT 알고리즘에 대해서도 간단히 포스팅하도록 하겠다) 따라서 GNSS를 기반으로 한 mapping

717lumos

이사한 블로그에서 해당 포스팅을 볼 수 있습니다! 🚨글 보러 가기

boing-86

아래 내용은 Coursera와 University of TORONTO 에서 제공하는 강의 내용을 정리한 글입니다. Lesson1. Safety Assurance for self-driving Vehicles 정리 Autonomous Driving Crashes Waymo(2016) : 소프트웨어 - Decision 에서의 문제. 다른 차량의 모션을 예측하는 것은 어려움 Uber(2016) : 차가 전복되는 사고. 다른 차량에 의한 disturbanc에 over-react 한 제어기의 문제. 예상하지 못한 시나리오였음 GM(2017) : 차선 변경을 하려는 바이크에서 예상치 못한 시나리오로 딜레마에 빠져 decision을 적절히 내리지 못하여 추돌함. Uber(2018) : 프로그램 확장성 테스트 중에 자

boing-86

Coursera 자율주행 전문화 코스 - Introduction to Self-Driving Car 강의를 듣고 있다. 한국 사람들이 많이 듣지 않는지 한국어 번역이 없어서 내가 Coursera GTC(Global Translator Community) 등록해서 번역하면서 동시에 공부하고 있다. 계속 추가하고 있는데, 이게 100% 번역 되어야 제공되는걸까 아직 공식에서는 제공이 안된다. 혹시 제 번역으로 공부하고 싶은 한국어 사용자가 있으면 GTC 등록하셔서 보십셔. 도메인 지식이 있어서 구글 번역기보다 낫습니당 진짜임 걍 호로록 영어로 듣는 것보다 더 깊게 이해하고 있는 것 같다... 그럴만도 한 게 1) 영어로 호로록 듣기 2) 전문 번역하면서 듣기 3) 번역한 거 GTC 프로그램에 옮겨 적

717lumos

프로그래머스의 다른 수기는 많은데 유독 자율주행 데브코스 수기는 없어 적어본다. 😀 지원 동기 필자가 적을 두고 있는 '조선해양공학과'에서 Autonomous Vehicle 기술은 '자율운항'이다. 즉, 배를 움직이는 기술이다. 그러나 배든 자동차든 혹은 비행기나 드론이든, 인지-판단-제어라는 틀과 그 안에 들어가는 기술들은 거의 흡사하다. 특히 인지 부분은 똑같다고 볼 수 있다. 그래서 자율운항 기술을 공부하며 자율주행 파트를 많이 참고한다. 프로그래머스(programmers)는 코딩테스트, 개발자 구인구직, 개발 강의 등으로 유명했고 필자 역시 종종 사용하고 있었는데, 특히 부스트캠프 같은 dev코스가 탐이 났다. 몇 달 전 인공지능에 지대한 관심을 가지고 있는 필자는 인공지능 코스를 지원하려 지원서까지 썼다가 개인적 사정으로

cjh2626002

ADAS Advanced Driver Assistance System의 줄임말. 첨단 운전자 보조 시스템이다. 센서가 위험상황은 감지하면 사고의 위험을 운전자에게 경고를 하고 운전자가 판단하여 대처 할 수 있도록 도와주는 보조 장치 Autonomous Emergency Braking, AEB (긴급 제동 보조 시스템) City-Safety (볼보) Foward Collsion-Avoidance Assist, FCA (현대기아차) AEB->FCA

sjinu

원본 pdf : https://sjinu.notion.site/Analysis-of-Autonomous-Driving-Image-Classification-Using-XAI-adversarial-explanation-and-LIME-117e67492fa8413c80c57c45e6a57d01 -png-Imagesoneimage.png)

minkyu4506

안녕하세요. 밍기뉴와제제입니다. 정말 오랜만에 돌아왔습니다. 논문은 여러개 봤는데 리뷰할 정도로 깊게 탐구한 논문이 별로 없어 한동안 글을 안쓰다 이번에 논문 세미나를 하다보니 꼼꼼히 살펴본 논문이 생겼습니다. 이번에 리뷰를 하려는 논문은 'Multi-Modal Fusion Transformer for End-to-End Autonomous Driving '라는 논문입니다. 자율주행에 관한 논문이죠. 이름을 보면 대충 짐작 가시겠지만 이 논문은 multimodal, 두가지 데이터를 처리하는 모델을 설계했습니다. 그리고 Transformer도 이용했다는 사실을 짐작할 수 있습니다. 그러면 지금부터 논문 흐름에 맞춰 리뷰를 해보도록 하겠습니다. Introduction --- 이 부분에서는 이전까지 자율주행 모델이 사용한 방식들을 소개 후 저자가 소개하는 모델 'transfuser'에 대해 설명합니다. 한가지 입력값만 받는 모델

soddong

0. 참고 ✔ camera package : https://github.com/ros-drivers/usb_cam ✔ darkent pachage : https://github.com/leggedrobotics/darknet_ros 1. camera 👉 usb_cam package - driver 👉 setting value _ 경험에 의한 개인적인 견해이며, 기준을 조금 더 정밀하게 했으면 하는 아쉬움이 있다._ Brightness 맑은 경우, 약 40 ~ 50 적당히 구름낀 경우, 약 90 ~ 100 흐린 경우, 약 128 ~ White balance temperature 화면 색이 파랗다면 4500 ~ 5000, 화면 색이 붉다면 default (red-green 추출에 있어, 붉은 화면은 큰 영향을 주지 않았음) Exposur

soddong

Traffic light Recognition system 은 자율주행 자동차의 인지부에서 신호등의 신호를 분류하는 파트이다. 시스템의 개발 환경은 linux 상의 ROS에서 개발하였다. 크게 두 패키지로 이루어졌으며, Camera 패키지에서 얻은 frame을 darknet 패키지에 전달하면 신호 검출 및 신호 분류를 수행한다. Sytem Flow Chart Traffic light Detection Yolove V3 모델 Bounding box 정보, 해당 frame 을 추출하여 ROI영역으로 설정 RGB to HSV RGB to HSV 변환 red green 영역을 추출 Noise Reduction Bilateral Filter Morphology operation Find Contours Threshold