전동 킥보드에 라즈베리파이를 장착한후 라즈베리파이의 센서에서 보내오는 데이터를 Mobious서버에 저장하고 이를 가지고 제대로된 장소에 주차를 했는지의 여부와 실시간 이미지 데이터와 gps, 자이로 센서를 이용해 주행습관을 체크하였다. 추가로 이미지를 이용한 Visual Localization을 이용해 전동킥보드를 지정된 주차구역내에 주차를 했는지의여부를 확인한 후 지정된 주차구역이 아닌 경우에는 반납을 하지 못하는 시스템을 만들었다.
사용한 전동킥보드의 라즈베리파이에 장착된 것들이다.
라즈베리파이에 gps, LTE, 카메라, 자이로센서가장착되어 킥보드의 데이터를 LTE를 통해서 데이터를 서버에 보냅니다.
모비우스 서버는 keti에서 개발한 oneM2M기반의 IOT서버이다.
구축할때 아래깃허브를 참고해 서버를 만들어 열면 된다.
서버를 만들때 도커를 이용하면 좋다.
https://github.com/IoTKETI/Mobius
전동킥보드의 데이터를 post방식으로 mobious서버에 보내 저장한다.
제가 여기서 담당한것은 Docker를 이용해 mobious서버를 구축했고 킥보드를 주차했을때 주차위치의 사진이 전송되었을때 Visual Localization을 이용해서 제대로된 주차위치에 주차를 했는지 확인하는 시스템을 구축했습니다.
Visual Localization에 이용한 모델은 Patch-Net-Vlad를 이용했습니다.
Patch-Net-Vlad를 이용할때 필요한 내용은 아래 깃허브에 있습니다.
https://github.com/QVPR/Patch-NetVLAD
그리고 제가 주차구역에대한 데이터베이스를 구축할때 그림을 통해서 설명하자면
이 바둑판에서 중앙이 주차구역이라고 했을때 주차구역에서 360도 전체의 사진을 모두찍은후 주차구역의 데이터베이스에 저장합니다. 그리고 주차구역이아닌 경우는 주차구역 밖에서의 360도 사진을 찍은후 주차구역 외부의 데이터베이스에 저장합니다.
그후 PatchnetVlad를 이용해 주차구역의 데이터베이스의 사진과 주차구역 외부의 데이터베이스의사진을 특징벡터화해 저장합니다.
그리고 이 특징벡터들을 킥보드가 주차를 했을때 보낸사진을 patchnetvlad를 이용해 뽑아낸 특징벡터와 비교해 전동킥보드가 지정된 주차구역에 주차를 제대로 했는지의 여부를 확인 하는 시스템을 만들었습니다.
전동킥보드의 다른 서비스에 대해서 궁금하다면 아래의 hackster사이트에서 보면 다른대용들을 더 자세하게 볼 수 있습니다.
후일담: 주차구역주차나 킥보드주행 데이터를 모으는데 정말 시간이 많이들고 계속해서 모으는데 정말 힘들었었다. 데이터를 많이 모으니까 결국 원하는 결과가 나왔는데 그때까지 너무 힘들었다. 그래도, mobious대회가 끝나고 상을 수상하게 되어서 그래도 보상받은거같아 기분이좋았다.
그래서 학교에서 상받았다고 학교 기사에도 올라갔다.
http://www.sejongpr.ac.kr/sejongnewspaperview.do?boardType=2&pkid=45470
솔직히 맨날 학교 홈페이지에서 저런 기사들을 구경만 해봤지 내가 올라갈 거라고는 생각을 못했었는데 내가 기사에 나오니까 감회가 새로웠다.
전체 서비스의 hackster 링크 : https://www.hackster.io/490781/multiple-safety-service-for-electric-scooter-7d3def
