2024.01.05 DAY72
자이카로 진행할 프로젝트에서는 YOLO v3 tiny 모델을 사용한다고 한다. 그리고 모델을 자이카에서 사용하기 위해 pytorch로 구현한 것을 ONNX, TensorRT로 변환하는 것에 대해서도 배웠다. onnx에 대해서는 대충 알고 있었고 TensorRT는 처음 들어본 것이였는데 새로 알게 되어서 좋았다.
자율주행의 전반적인 기술들에 대해서 배웠다. 저번에도 한번 배웠던 내용이지만 경험을 조금 한 후에 다시 정리를 하니 예전보다 흐름이 잘 이해되었다.
📝 배운 내용
YOLO v3 tiny
- YOLO v3 모델의 사이즈를 줄인 모델
- 하드웨어에서 최대한 FPS 즉, 속도를 높이기 위해서 모델을 사이즈를 줄인다
- max pooling을 많이 사용하여 크기를 줄이고, yolo result 즉, object를 검출하는 layer의 개수를 3개에서 2개로 줄였다
ONNX & TensorRT
ONNX
- Open Neural Network Exchange
- 다양한 딥러닝 프레임워크에서 훈련된 모델을 서로 공유하거나 변환할 수 있도록 만들어진 개방형 포맷
- inference에 필요한 기능에 중점을 두고 있다
- pytorch 모델을 ONNX로 변환한다는 것은 모델의 구조, 동작을 ONNX 형식으로 변환하는 것이다.
- model의 weight를 변환하는 것은 아니다
TensorRT
- NVIDIA에서 제공하는 딥러닝 모델 최적화 및 배포를 위한 고성능 추론 엔진
- 딥러닝 모델의 추론 속도를 높이고 모델을 최적화하여 빠른 속도로 실행할 수 있도록 해준다
자율주행 기술
- perception
- 다양한 센서를 통해 주행 환경에 대한 다양한 정보를 인지하는 기술
- localization
- 차량의 현재 위치를 추정하는 기술
- GNSS 기반 / 다른 센서 및 데이터 기반으로 측정하는 방법이 있다
- planning
- 주행 환경, 위치 정보를 바탕으로 주행하는데 필요한 요소를 생성, 결정하는 기술
- path planning, mission planning, dicision making 기술이 있다
- HD Map (정밀 지도)
- 차선 단위의 지도로 높은 정밀도, 다양한 정보를 포함하는 지도이다
- 하지만 지도 제작, 유지보수가 어렵다
- mobile mapping system으로 데이터를 얻고, 누적된 LAS 데이터를 사용하여 만든다
