데브코스 자율주행 최종 프로젝트 - 16주차 목요일 TIL

오늘 한 일

• YOLO v7 재학습 : nohup 적용해 재학습

• YOLO v7 평가 : probability가 아직 부족해 추가 학습 진행

  

• 2D Detection 결과 및 3D Detection 결과 Data Association method 논의 : 강사님과 추가 미팅 예정

• Data Association method 이론 공부
  
  

새롭게 알게 된 점

yolov7 학습 및 평가

• mAP@.5와 mAP@.5:0.95 의 차이

  • mAP@.5 : IOU를 0.5로 설정하여 Ground Truth(GT) 값과 0.5 이상의 겹치는 부분이 있을 때 정답으로 처리

  • mAP@.5:0.95 : IOU를 0.5에서 0.95까지 0.05씩 높이면서 AP를 계산한 결과의 평균

Data Association method 이론 공부

• PointPillars
  : Point Cloud의 3D Data를 vertical하게 encoding 하여 2D CNN을 적용

  1. 3D Point cloud -- [feature encoder Network] --> sparse pseudo image

  2. 2D CNN 적용 -> feature 모음 생성

  3. SSD를 사용하여 3D Object Detection 수행

• BEVfusion
  : multi view camera data와 LiDAR의 Point clloud로부터 각각 feature를 뽑아 BEV 형태로 변환한 뒤 하나의 BEV로 fusion하여 3D Object Detection 수행
  

• Deepfusion
  : Augmented LiDAR point cloud에서 keypoints를 찾고, Inverse Aug 과정을 거쳐 keypoints를 original 3D coordinate에 반영, learnable align을 활용해 2D coordinate에 projection

  

• MVP(Multimodal Virtual point 3D Detection)
  : 3D LiDAR Point cloud를 2D Detection 결과 위치에 생성하고, nearest neighbor matching 을 통해 가상의 점을 생성하는 것이 특징