🚙 AWS DeepRacer 맛보기

서포터즈 활동을 하며 딥레이서라는 종목을 알게되어 대회까지 나간 짧은 경험을 공유하고자 합니다.

👀 AWS DeepRacer란?

강화 학습, 3D 경주 시뮬레이터 및 글로벌 레이싱 리그를 활용하는 1/18 비율의 완전 자율 주행 경주용 자동차입니다. 모든 기술 수준의 개발자가 클라우드 기반 3D 레이싱 시뮬레이터를 통해 기계 학습을 경험할 수 있습니다.

✨ 사용자가 할 수 있는 것

DeepRacing 모델을 학습시키기 위해 사용자는 크게 3 가지 요소를 정의할 수 있습니다. 이는 기계학습의 범주 내에 들어가기에 전체적인 내용은 같습니다.

• Hyper Parameter
  모델을 학습할 때에 고려할 값들입니다. 학습률, 보상 함수, 프레임워크, 강화 학습 알고리즘 등의 하이퍼파라미터를 적절하게 조정하여 성능을 향상시키는 것이 중요합니다.
• ActionSpace
  에이전트가 직접적으로 행동할 자동차의 속도, 조향각도를 조정하는 것입니다. 이를 기반으로 차량이 움직일것 입니다.
• Reward Function
  강화학습에서 중요한 요소로 에이전트가 더 높은 점수를 얻어 원하는 결과를 도출해낼 수 있는 기능입니다. 추가로 Python으로 구성되어 있습니다.
  

그리고 강화학습에서 제일?... 중요한 운이 있습니다... 🍀
(사용자 세팅을 통해 에이전트의 행동을 제한할 수는 있지만 정말 멋대로 움직이기에 원하는 결과를 얻는것은 다소 어렵습니다.)

🍀 알면 좋은 팁

모델 학습을 하게되면 많은 기능 앞에서 다소 움츠려지지만 조금씩 알아본다면 크게 어렵진 않습니다. 그 중 유익했던 여러가지 팁을 알려드리고자 합니다.

• 주행 경로 최적화
  기본적이고 유용했던 기능입니다. 최적화를 하지 않는다면 에이전트는 트렉을 아주 정직하게 주행하여 주행 거리가 길어집니다. 아래의 사진에서 확인할 수 있으며 중간의 edge가 최적화된 경로입니다.
  
• 과적합 (Overfitting) 피하기
  과적합이 발생하면 학습 데이터에 대해서는 오차가 감소하지만, 실제 데이터에 대해서는 오차가 증가하게 되어 모델의 일반화 성능이 저하됩니다. 경험상 주로 사용되는 Capstone code의 경우 8시간 이하로 학습하는 것이 적절하였습니다.
• Learning Rate 조정
  lr 값을 조절하여 보다 완성도 있는 모델을 학습시킬 수 있었습니다. 하지만 값이 높으면 완성도는 부족하지만 트렉 이탈율을 크게 줄일 수 있었고, 반대로 값이 낮다면 완성도는 높지만 다소 불안정한 모델을 학습할 수 있었습니다.

등등

📝 대회 등록

서포터즈를 함께하는 친구들끼리 지원을 하였습니다. 다들 관심가지고 있어서 금방 모였어요.
인천 인하대에서 진행하는 2023 AI 융합 자율주행 경진대회 'AWS DeepRacer Championship'에 등록하였습니다.

팀 이름은...
이유는 없고 뉴진스 신곡 ETA로 했답니다.. 노래 좋잖아요..

다들 처음하는 종목이다 보니 많이 진입하기 어려웠네요.. 그래도 학교 사업단에서 특강 열어줘서 알차게 배웠습니다.

🌱 예선전

대회에는 40팀이 지원하였고 이 중 8팀만이 본선에 진출할 수 있습니다.

예선전은 AWS 내의 커뮤니티 레이싱을 활용하여 각 팀들이 온라인으로 기록을 측정합니다.
제출은 무제한으로 할 수 있었지만 주최측에서 제공해준 계정의 시간이 차감되는것 같았어요.

저희는 총 150번 체줄을 하였고 무사히 7위를 기록하여 본선에 진출할 수 있었습니다.

🤔 본선 대비

예선 마감 몇 시간 전에 기록을 올려 본선에 들어온 저희는 실차 (오프라인) 주행이 처음이라서 걱정이 많이 되었어요...🥲 차량이 시뮬레이션과 동일하게 주행될까? 혼자 드리프트하진 않을까? 하며 노심초사 하였어요...

대회 전 까지 모델을 훈련시켜야해서 또 개발에 들어섰습니다.

임베디드 개발이다 보니 기록이 중요합니다.. 노션을 활용했어요.

시간을 절약하고자 프리티어 계정을 활용해 모델 개발을하고 대회 계정에는 검증된 모델만 사용하기로 하였어요. 본선 전날 모든 모델을 훈련시키려고 했답니다.

그런데 세상에

개인 계정에서 훈련시킨것 만큼 결과가 좋지 못했어요. 모든 설정을 동일하게 하였지만 좋은 모델을 얻지 못했습니다...
운빨이 크긴 하네요..

😶 본선 당일

훈련도 제대로 못시키고 당일이 찾아왔습니다. 경기 전 까지 훈련을 시킬 계획이었지만, 대회 등록과 함께 모델을 제출해야 했기에 미완성 모델들과 예선 통과 모델로 제출했어요.. 🥲

본선은 인천의 인하대에서 진행하였어요. 주최측이 ITP라고 인천 테크노 파크 입니당.

1/18 스케일이지만 시뮬레이션에서는 엄청 작아보였는데, 식제로 트렉을 보니 엄청 컸어요...!!

당근마켓 DepOps 엔지니어님의 Deepracer 특강도 들을 수 있었어요.

주행 테스트

테스트 주행 때 사용할 모델을 선택하고 감을 익혀야 했어요. 생각보다 시뮬레이션과 이질감이 많이들어 난감했답니다.
선택한 모델도 좋은 기록을 못세우고 있고... 어질어질했어요.

실제 주행 & 결과

결론부터 말씀드리자면 저희는 5위를 기록했습니다. ㅜㅜ.
3위까지 올라갔었는데 2차 주행에서 다들 잘 달리시더라구요..

🚙 마 무 리

아쉽게도 한 순위 차이로 수상은 못했지만,,, 재밌는 AI + 임베디드 경험이었고 느낀점은 테스트가 중요한것 같습니다… 같이 개발한 팀원들도 다들 처음이었지만 모두가 열심히 해주었기에 본선까지 올라올 수 있었습니다!
이 대회에 다시 도전할 지는 잘 모르겠지만, 이번 경험을 토대로 조금 더 넓은 시야로 문제를 해결야겠다고 생각하였고 다양한 상황에 대비하여 테스트를 준비하면 좋겠다. 라고 느꼈습니다. 재밌었습니다!

+참가 기념품들!! (바람막이, 보조배터리 등)

Ref

그리고 도움되었던 자료들 일부 공유하겠습니다.

• 주행 경로 최적화
• Capstone Code

이 외에도 waypoint, actionSpace 계산 도구 등을 활용하여 다양하게 잘 활용할 수 있습니다.