2022년 2학기 캡스톤디자인에서 진행한 산학협력 프로젝트이다.

이번 프로젝트는 설계 점수가 60%인 설계 중심의 프로젝트였다. 그리고 산학협력 프로젝트인 만큼 기업 멘토님들의 도움을 받을 수 있었다.

팀 구성

이번 프로젝트는 내가 직접 나서서 팀을 구성했다. 같이 멋쟁이사자처럼 활동을 하고 있는 3명 + 같은 과 1명 + 나 까지 해서 총 5명의 팀이 이루어졌다. 그리고 내가 팀 대표로서 프로젝트를 진행했다.

주제 선정

먼저 큰 주제는 교수님이 리스트 해둔 것 중에 선택해야 했다(자유 주제를 원했지만). 우리 팀은 'IoT를 활용한 지능형 소리분석'이라는 주제를 선택했다.

큰 주제를 정했으면 구체적인 주제를 정하고 프로젝트 설계를 진행하면 된다. 하지만 우리 팀은 구체적인 주제 선정 과정에서 많은 어려움이 있었다. 어려움을 겪은 이유는 아래와 같이 판단된다.

1. 큰 주제가 정해져 있어 자유롭게 아이디어를 낼 수 없었다.
2. 괜찮은 아이디어를 내어봐도 이미 존재하고 그것들이 더 실효성이 좋았다.
3. 사업성과 실현 가능성이 좋지 않았다.

그럼에도 불구하고 아이디어를 구체화해보고 아니다 싶으면 빠르게 변경했다. 그러면서 3번의 (구체적인)주제 변경이 있었다.

폐기된 주제들

(원래는 각 폐기된 주제들에 대해 글을 작성하고 있다가 이 회고록의 포인트가 흐려질 것 같아 노션 링크 첨부로 변경했다)

• 청각 장애인 및 난청인을 위한 스마트홈 구축
• 소리 인식 및 삼변측량을 이용한 위치 추정 시스템
• 아동학대 재발 위험 가정 내 사후 관리 솔루션

이 주제들이 폐기된 이유는 아까 언급한 3가지의 이유 때문이다.

최종 주제 선정

결국 정해졌다!! 주제 선정에 많은 시간을 소요했지만 이것이 가장 중요하고, 좋은 주제가 설정되면 설계 및 구현은 빠르게 진행될 것이라고 생각했다.

Team Name : Louder
Project Big Topic : IoT를 활용한 지능형 소리분석
Project Small Topic : 웨어러블 장치를 활용한 아동 신변보호 서비스

서비스 대상 : 보호가 필요한 영유아 및 미취학 아동(약 6세 부터 12세 이하)의 보호자
적용 환경 : 아이가 보호자로 부터 떨어져있을 때, 범죄로부터 보호가 필요한 경우

물론 기존에도 아동 신변보호 장치가 있긴하다. 우리 팀은 기존 신변보호 장치에 차별점으로 소리 인식 및 분류를 통한 알림 기능을 더하기로 결정했다.

역할분담

우리 팀은 아두이노(2)+모바일(1)+서버(1)+인공지능(1)으로 역할 분담을 했다. 나는 서버와 팀 리더를 담당했다.

설계 과정

🔽 자세한 설계 내용은 아래 노션 링크에서 확인 가능하다.
계획 및 설계

주요기능

우리 팀 서비스의 핵심은 웨어러블 장치(엣지 디바이스)에서 머신러닝으로 위험 소리를 인식해서 보호자에게 알림을 보내는 것이다!

시스템 구성도

설계상 네트워크는 NB-IoT이지만 프로토타입 구현시에는 Wifi를 사용했다.

통신 흐름도

여기서 나의 역할은 Broker 서버, Web 서버, DB를 구축하고 FCM을 이용해 알림을 보내는 것이다.

개발 과정

내가 구현 해야하는 서버의 주요 기능은 아래와 같다.

• Broker 서버로 부터 데이터(소리 정보, GPS 좌표) 수신 및 저장
• Kakao Map API를 활용하여 GPS 좌표에 해당하는 주소를 수신 및 저장
• 사용자가 이동 경로(GPS좌표), 인식된 소리 정보 데이터 요청시 응답(API)
• 보호자 모바일에 푸시 알림 요청(FCM 사용)

Broker server

MQTT 통신은 이번 프로젝트를 설계 하면서 처음 접하게 됐다. 구독, 발행 통신 방식으로 IoT 장치에 딱 맞는 시스템이다.

Broker 서버에는 여러 오픈소스가 있는데 그중 Mosquitto를 사용해 구축했다.

Web server

입출력(I/O)이 자주 발생하는 작고 빈번한 요청을 처리하는 서비스이므로 논 블로킹(Non-blocking I/O) 이벤트 기반 비동기 방식의 Node.js(Express)를 채택했다. 또한 Json 데이터 형식으로 통식을 할것이라 mongoDB를 채택했다.

배포

이번 프로젝트에서는 학교에서 NHN Cloud를 지원 받아 사용했다. 이 클라우드 서비스는 처음 사용해 봤는데 깔끔한 UI와 한국 회사 서비스여서 그런지 아주 쉽게 사용할 수 있었다.

🔽 최종 보고서 내용중 일부 발췌

결과물

API 문서

모바일과 협업을 위해 서버 API 문서를 작성하여 공유하였다.

• 이동 경로 GPS 좌표 요청하기 - API 문서(배포 중단)
• 지금까지 인식된 소리정보 데이터 요청하기 - API 문서(배포 중단)

시연 영상

핵심 기능(소리인식) 시연 영상
앱 사용 시연 영상
🔼 위 영상을 보면 프로토타입 제품과 실제 작동하는 것을 확인할 수 있다.

여러 발표들

체크업 발표(진행 점검)

교과목 담당 교수님이 학생들이 잘 진행하고 있는지 체크하는 발표 자리이다. 프로젝트 진행 과정을 발표하면 되기 때문에 5분 안에 금방 끝났다. 그리고 아주 짧은 피드백을 받을 수 있었다. 더불어 다른 팀은 어떻게 하고 있는지 보면서 동기부여도 받고 배울점도 얻었다.

중간 발표(중간 평가)

중간고사 시험기간에 진행한 발표이며 여러 기업체 멘토 님들에게 평가를 받았다. 이때부터는 최종 평가에 반영되는 평가 자리이므로 철저하게 준비했다. 발표는 최대한 간단 명료하게 했으며 예상 질문도 생각해 두었었다. 잘 준비한 덕분인지 발표도 잘 하고 질문에도 잘 답변했다!

최종 성과 발표회

프로젝트 최종 결과물을 발표하고 평가받는 자리이다. 마지막인 만큼 정말 심혈을 기울였다. 정해진 시간 안에 그동안 쌓아온 내용들을 발표해야 되기 때문에 많은 고민을 했다. 정말 핵심 중에 핵심만 뽑아 발표 자료를 만들고 발표했다.

긴장은 했지만 무난하게 끝났다. 생각 의외로 질문이 없어서 그게 당황스러웠다..(잘해서 그런거겠지?)
발표자료

발표 잘 하는법

누구 보다 발표 내용에 대해 잘 이해하고 있으면 된다.

돌아보며

정말 바쁜 한 학기였다. 바빴던 이유가 여러가지가 있지만 이 프로젝트가 큰 비중을 차지했다. 분명 과정 속에서는 힘들었지만 지나고 보면 뿌듯하고 배운게 많다. (나 자신이 대견해!)

어려웠던점 그리고 배운점

비동기 처리

서버에서 기술적으로 잠깐 어려웠던 것은 비동기 처리였다. Nodel.js에서 Kakao API로 요청 보내는 부분이 있었다. 응답을 받아오는 시간이 있다 보니 응답을 받은 뒤에 작동해야 할 코드가 응답이 오기 전에 작동하는 문제였다. 이때까지 비동기에 대해 제대로 이해하지 못하고 있었던 것이다..

해결 방법을 어렵지 않았다. Kakao API 응답을 받을 때까지 기다리라는 코드를 작성해 주면 됐다. async & await를 사용하여 해결할 수 있었다.

덕분에 비동기 처리 및 콜백 함수와 Promise에 대해 이해할 수 있었다.

팀 리더

나름의 욕심이 있었기 때문에 팀장을 하게 됐다. 물론 팀장으로서 매우 부담이 됐었지만 나에게 잘 맞는 역할인 것 같기도 하다.

내가 이번 프로젝트에서 팀장으로서 가장 노력한 것은 팀원들 개개인을 잘 파악하는 것이었다. 어떤 팀원이 어느 부분에서 강점이 있는지 잘 파악하고 있으면 일을 분배하고 수행하는 데 있어 효율적이기 때문이다. 노력은 했지만 역시 쉽지 않았다. 나 자신에 대해서도 잘 모르는데 누군가를 잘 안 다는것은 힘든것이다. 먼저 나 자신에 대해 이해할 필요가 있다는 생각이 들었다.

그래도 팀이라는 것은 대단한 것이었다!! 내가 부족한 부분은 팀원들이 채워주었고 덕분에 잘 마무리할 수 있었다.

함께 고생해 준 팀원들 고맙습니다! 🌟

Project Github repository