연구 주제
딥러닝 기반의 자율주행 차량에서 카메라로 차선을 인지할 때, 딥러닝을 사용하여 개발한 인지 알고리즘의 유용성과 효율성 증명
연구가 필요한 이유
- 자율주행 차량이 주행할 때 HD Map과 고정밀 GPS를 사용하면 과도한 시간적, 경제적 비용을 필요로 함
- 인식한 차선을 자율주행의 측위 및 판단 기술에 사용하기 위해서는 차선을 정확하게 인지하는 기술이 필수적임
결론
딥러닝과 IPM(Inverse Perspective Mapping)을 사용하여 차량 좌표계로 변환하기 까지의 과정을 85FPS로 수행을 완료하였으며, 중앙선 분류에 있어서는 96.3%의 F1 score을 달성함
논문 내용
서론
최근에는 HDmap과 저가 GPS를 사용하거나, HDmap 없이 자율주행을 시도하는 연구가 늘어나고 있음 => 차선 인식 기술 고도화가 필수적임
정확한 차선 추출 기법은 필수적이며, 중앙선, 실선, 점선 등의 차선 속성 정보를 추가로 제공하면 연계 기술의 매칭을 보다 용이하게 할 수 있음
관련 연구
딥러닝을 이용한 차선 인식
객체 분할 : 이미지의 각 픽셀에 대해 해당 픽셀이 속한 객체 또는 배경을 분류하는 딥러닝 기법
객체 분할은 이미지 내 모든 픽셀에 대해 클래스 정보를 주기 때문에, 자율주행 차량에서도 객체 분할을 이용한 차선 인지가 많이 연구됨
객체 검출 기법은 이미지의 전체 픽셀에 대해 소속 객체를 예측해야 하는 분할 기법보다 가볍고 빠르기 때문에 보다 실시간성에 유리함
차선 인식을 위한 데이터셋
차선 인식 모델을 학습하기 위해서는 가공된 차선 데이터셋이 필요함
=> 본 연구를 진행하기 위해 베이징에서 수집된 대규모 차선 인지 데이터를 사용함
해당 데이터는 왼쪽 차로의 왼쪽 차선, 자차로의 왼쪽 차선, 자차로의 오른쪽 차선, 오른쪽 차로의 오른쪽 차선 클래스를 가짐
멀티 레이블 차선 인지 알고리즘
히트맵 기반 차선 검출 모델
참고 논문 : Liu, Lizhe, et al., "Condlanenet: a top-to-down lane detection framework based on contitional convolution," Proceedings of the IEEE/CVF international conference on computer vision. 2021
위 논문에 나오는 알고리즘은 차선의 시작점을 키 포인트로 삼아, 키 포인트를 예측하는 히트맵을 만들어 히트맵 상에서 검출된 키포인트들에 대해 차선 모양 예측을 진행하는 모델
히트맵 : 키 포인트가 어떤 픽셀에 위치하고 있을 확률을 나타내는 맵으로, 히트맵의 픽셀값 중 1에 가까운 픽셀의 좌표는 물체의 키 포인트가 해당 픽셀에 위치할 확률이 높다는 것을 의미
차선의 시작점을 예측할 때 사용하는 히트맵은 바이너리 히트맵으로, 해당 지점에 차선의 키 포인트 유무를 예측하는 확률값을 나타냄
히트맵 기반 멀티 레이블 차선 인식
본 논문에서는 히트맵 검출 네트워크의 바이너리 히트맵 차원을 확장하여, 멀티 레이블 차선 인식을 제안함
멀티 레이블 히트맵을 예측한 후, 각 히트맵 레이블 별로 NMS(Non-Maximum Suppression)을 진행하여 서로 다른 클래스의 차선 포인트들 간에는 Confidence score 비교가 이루어지지 않도록 함
NMS 진행 후 히트맵은 최종적으로 차선의 레이블과 이미지상 픽셀 좌표를 예측함
검출한 차선의 차량 좌표계 변환
실차에서 차선 인지 성능을 비교하고, HDmap에 매칭 가능한 형태로 만들기 위해서는 네트워크의 차선은 차량 좌표계로의 변환이 필요함
최종 알고리즘의 흐름도는 아래와 같음
실험 결과
OpenLane 정량적 실험 결과
이미지 상에서의 정량적 성능 검증은 학습을 진행한 OpenLaneDataset의 test dataset에서 진행함
약 12,000장의 이미지에서 F1 score을 이용하여 검증
학습 결과 본 논문에서 제안하는 알고리즘은 61.73의 F1 score을 달성함
3D 차량 좌표계 상에서의 실험
본 논문에서는 IPM 기법을 사용하여 이미지의 차선 픽셀들을 3D 차량 좌표계로 변환하여 성능 검증을 실행함
알고리즘을 평가하기 위해 실차에서 취득한 약 700장의 이미지에 대해 HDmap과 비교 진행
알고리즘의 실차 취득 데이터에서의 중앙선 분류 Prediction은 97.8%이며, 중앙선 분류 Recall은 94.9%, F1 score은 96.3%임
Recall이 Prediction보다 상대적으로 낮은 이유는 중앙선이 없을 때 일반 차선을 중앙선으로 오인지하는 경우보다, 중앙선이 있음에도 중앙선을 일반 차선으로 오인지 하거나, 아예 인지하지 못하는 경우가 많기 때문이었다.
제안하는 알고리즘은 이미지 상 차선 검출 후 IPM 기법을 이용하여 차량 좌표계로 변환하기까지 85FPS를 달성함
알고리즘과 연계된 측위 모듈의 연산 시간은 50FPS이므로, 실시간성을 달성했기 때문에 실제 자율주행 차량에서 사용 가능할 것으로 보임
정리
- 인식한 차선을 자율주행 자동차의 측위 및 판단 기술에 사용하기 위해서는 정확한 차선 추출 기법이 필요함
- 이전에 논문으로 나온 히트맵 검출 네트워크를 확장하여 멀티 레이블 차선 인식 알고리즘을 만들었음
- 개발한 네트워크부터 IPM을 이용하여 차량 좌표계로 변환하기까지 85FPS로 수행되었으므로, 실제 자율주행 차량에서 사용 가능함
논문 링크
https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11763884
https://arxiv.org/abs/2105.05003
