종합설계 진행 0주차,, 이제 막 팀이 구성되고 주제에 대한 의견들이 모이기 시작했다.
그 중에서 가장 획기적인 것이 라즈베리파이 클러스터와 이미지 객체 인식 등이 있었으며 이를 종합한 결과
"라즈베리파이 클러스터 기반의 YOLO 사물 인식과 ESP32 제어를 통한 AI Tracking Turret"
을 구현을 목표로 하였다.
최종적으로 카메라에서 받아온 정보를 통해 객체를 감지 및 추적하여 격발까지 가능한 시스템을 만들기로 하였는데 이에 필요한 기능을 정의해보고 구분해보았다.
RaspBerry Pi Cluster
빠른 객체 인식을 위해 1대의 Master Raspberry Pi와 2대의 Node(Slave) Raspberry Pi로 Cluster를 구성
RaspBerry Pi에 openCV를 설치하여 Tracking System 구현
카메라에서 받아온 사진에 목표로 하는 객체가 탐지가 되면 화면 중앙으로 Tracking 하는 동작을 수행하도록 제작
YOLO 모델 Custom 및 Raspberry Pi 환경에서 사용
YOLO에서 기본 제공하는 객체가 아닌 목표로 하는 사물을 라벨링 작업 후, 모델을 Custom 하여 PC 환경에서 학습하고 Raspberry Pi 환경에서 객체 탐지
RaspBerry Pi와 ESP32 간의 통신
Raspberry Pi 환경에서 느린 YOLO 모델의 연산을 고려하여 객체 탐지를 Raspberry Pi가 담당하고 Tracking을 위한 서보모터 제어 및 격발 장치 제어 등의 외부 I/O를 ESP32가 담당(따라서 RaspBerry Pi와 ESP32 간의 통신 필요)
Gyro Sensor를 활용한 Stabilizer
AI Tracking Turret이 평지가 아닌 경사면에 있더라도 항시 지며 지면과 수평하도록 유지하여 안정적으로 System이 동작하도록 유도(원활한 제어를 위해 PID 제어 사용 고려)
팀원은 총 3명으로 2 학기 동안 종합설계 진행하는 프로젝트를 진행한다.
Moon
ESP32 환경에서의 Servo Motor 제어, PID 제어 설계, YOLO 학습 이미지 라벨링
Park
YOLO 모델 트레이닝, openCV 기반 객체 트레킹
Hwang
YOLO 모델 트레이닝, ESP32 제어, Google SketchUp 및 Fusion 360 Frame 설계
각자 역할이 분담되어 있지만 처음 접해보는 영역들이 많아 서로 자료를 공유하면서 함께 프로젝트를 진행할 것 같다.
이전까지 여러 대회나 공모전을 끝낸 뒤 "어떤 플랫폼을 사용해야 사전 조사 자료나 설계 자료를 효율적으로 공유하지?"에 대한 미련이 항상 남았다. 그래서 이번 프로젝트에서는 "GoodNotes"를 활용하여 공유 노트를 활용하여 각자 파트에 대해 조사한 자료를 정리하고 공유할 것이다.
GoodNotes가 이미지나 링크 등의 여러 자료를 공유하기에 의외로 좋은 거 같다.
프로젝트 중간 보고서를 2주마다 제출해야 하기에 보고서 작성 이후, 내용을 기반으로 여러 글이 작성될 거 같다. 또한 다음 실험이나 설계에 대한 일정도 함께 정리될 것 같다.