연구 주제

CNN을 사용하고, 저장된 정보와 차량 센서 데이터를 이용하여 차량이 처한 위기 상황을 0~1 사이의 수치로 출력하는 위기 감지 시스템 제안한다.

연구가 필요한 이유

자율주행차량은 상용화를 앞두고 있지만 안정성의 문제로 완전 자율주행 중에도 사고가 발생할 수 있다.

결론

차량 외부 상황 수집 모듈은 전방 카메라와 CNN을 이용하여 현재 주행중인 차량의 정보와 보행자 정보를 수집한다.
차량 위기 상황 판단 모듈은 외부 상황 수집 모듈의 결과와 내부 센서 데이터를 이용하여 위험도를 출력한다.
실시간성과 정확성을 고려하여 만들었고, 모델의 정확도는 80% 이하로 떨어지지 않았다.
가상 데이터를 사용하였으며, 긴급상황 탐지 이후 차량의 주행을 결정하지는 못했다.

논문 내용

1. 서론

자율주행 차량은 이미 상용화되어 판매되고 있으나, 안정성의 문제로 사고가 발생할 확률이 있다.
CNN을 사용하여 차량 외부의 정보를 수집하고, 해당 데이터와 차량 센서 데이터를 이용하여 차량이 처한 위기 상황을 0~1 사이의 수치로 출력하는 위기 감지 시스템을 제안했다.

2. 관련 연구

1. 상명대학교에서는 차량의 위험도를 계산하고, 근거리 차량 사이의 통신을 연결하여 메시지를 교환할 수 있도록 하였다.
2. 군산대학교에서는 RSE와 차량의 OBE를 이용하여 차량 사이의 네트워크를 구성하고 각 차량의 이동 특성을 고려하여 차량의 라우팅을 설계했다.
3. 해군사관학교에서는 자율주행차량 사이의 V2V 기법을 사용하여 상대 속도를 계산하고 전방 차량의 제동 거리를 예측하여 안전거리를 확보하는 시스템을 제안했다.
4. 건국대학교에서는 실시간 주행데이터를 바탕으로 감속 구간에 대한 기계학습을 통해 위험 상황을 자동으로 검지하는 모델을 제안했으며, 지도학습 기반의 신경망과 랜덤포레스트 및 비지도학습 기반의 클러스터링을 병행하여 운전자의 주행 형태에 맞는 자동 위험 검지 모델을 제안했다.
5. 충남대학교에서는 차량 충돌로 인한 교량 피해에 대하여 위험도 분석을 시행했다.
6. 계명대학교에서는 자동차에 설치된 열영상카메라를 이용하여 ADAS의 핵심 기술인 위험 보행자를 검출하는 알고리즘을 제안했다.

3. 차량 위기 감지 시스템 설계

3.1 OverView

차량 위기 감지 시스템은 차량 외부의 상황과 내부의 센서 데이터를 이용하여 차량이 현재 처한 위기 상황을 0~1 사이의 값으로 출력한다.
차량 외부 상황 수집 모듈은 차량의 전방 카메라와 CNN을 이용하여 현재 주행중인 차량의 주변 차량 정보와 보행자 정보를 수집한다.
차량 위기 상황 판단 모듈은 차량 외부 상황 수집 모듈의 결과와 내부 센서 데이터를 이용하여 처한 상황의 위험도를 0~1 사이로 출력한다.

3.2 차량 외부 상황 수집 모듈

V2V 통신을 통하여 주변 차량의 정보를 저장하고, 차량의 전면 카메라를 통해 현재 주행중인 차량과 직접적으로 인접한 차량의 번호판을 인식한다.
전방 이미지를 통해 주변 차량을 인식할 때는 VR-CNN 모델을 사용한다.
아래의 그림은 VN-CNN을 이용한 전방 차량 인식 과정을 나타낸다.

VR-CNN 모델은 1개의 Convolusion과 1개의 MaxPolling으로 구성된 3개의 레이어와 2개의 Fully Connected를 이용하여 결과를 출력한다.
동시에 CNN 기반 알고리즘인 YOLO를 사용하여 주행 중 보행자를 탐지한다.
연산 속도를 빠르게 하기 위해 YOLO에 입력되는 이미지의 노이즈를 제거하고, Bounding Box의 크기를 제한한다.

3.3 차량 위기 상황 판단 모듈

외부 상황 수집 모듈이 보행자 정보와 주변 차량 정보를 수집하면, 위기 상황 판단 모듈은 DNN 모델을 사용하여 차량의 위기 상황을 판단한다.
차량 위기 상황 판단 모듈의 DNN은 단 하나의 출력 노드를 가지며, 출력 노드의 값은 0~1 사이다.
딥러닝 연산을 위하여 활성화 함수로 Sigmoid 함수를 사용한다.
DNN을 Back-propagartion 방식으로 학습시킨다.
DNN의 학습 데이터는 직접 수집된 정상 주행 데이터와 사고 데이터를 기반으로 생성한다.
생성된 트레이닝 데이터 중 정상 주행 데이터의 출력은 모두 0이며, 사고 데이터는 차량의 수리 기록을 통하여 0~1 사이의 출력을 지정한다.

4. 실험

차량 위기 감지 시스템의 유효성을 판단하기 위하여 가상환경의 주행 데이터를 사용하여 차량 외부 상황 모듈에 대한 실험을 진행한다.
차량 위기 감지 시스템의 외부 상황 수집 모듈에 사용한 보행자 탐지의 실시간성과 정확성을 입증하기 위해 차량 외부 상황 수집 모듈과 같은 조건으로 CNN, R-CNN을 구축하여 정확성과 연산 속도를 비교하였다.

R-CNN은 보행자 수가 적을 때 VESCM과 비슷한 연산 시간을 보이지만, 보행자 수가 많아질수록 VESCM보다 많은 연산 시간을 소요했다.
평균적으로 VESCM이 R-CNN, CNN보다 빠른 연산을 가졌으므로 차량 외부 상황 수집 모듈의 실시간성을 보장한다고 볼 수 있다.

테스트 데이터 세트에서 보행자의 수가 늘어남에 따른 모델들의 정확도를 비교하였다.
보행자만 인식하기 때문에 정확도는 80% 이하로 감소하지 않았다.
따라서 비슷한 정확도를 가지면서 연산 시간이 가장 빠른 VESCM을 사용하는 것은 실시간성과 정확성을 모두 만족할 수 있다.

5. 결론

차량 외부의 상황과 내부 센서 데이터를 이용하여 차량이 현재 처한 위기 상황을 0~1 사이의 값으로 출력하느 위기 감지 시스템을 제안하였다.
차량 외부 상황 수집 모듈은 차량의 전방 카메라와 CNN을 이용하여 현재 수집중인 차량의 주변 차량 정보와 보행자 정보를 수집한다.
차량 위기 상황 판단 모듈은 내부 센서 데이터를 이용하여 차량이 처한 상황의 위험도를 0~1 사이의 값으로 나타낸다.
시스템의 유효성을 판단하기 위해 정확성과 연산 속도를 비교하였다.
하지만 해당 연구는 모두 가상 데이터를 사용하였으며, 긴급 상황 이후 차량의 주행을 결정하지 못했다.

정리

1. 자율주행 중에도 사고가 발생할 수 있으므로, 차량의 내, 외부 정보를 수집하여 위기를 감지하는 시스템을 제안하였다.
2. CNN과 DNN을 이용하였으며, 트레이닝 데이터는 직접 수집한 정상 주행 데이터와 교통사고 통계 분석 데이터를 이용한 차량의 사고 데이터를 기반으로 차량 위기 감지 시스템을 설계하였다.
3. 실시간성과 정확성을 입증하기 위해 내,외부 상황 수집 모듈과 같은 조건으로 구성하여 실험해보았고, 직접 설계한 모델이 실시간성과 정확성을 만족한다는 결과를 알게 되었다.

논문 링크

https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE10549523&googleIPSandBox=false&mark=0&minRead=10&ipRange=false&b2cLoginYN=false&icstClss=010000&isPDFSizeAllowed=true&accessgl=Y&language=ko_KR&hasTopBanner=true