서론

2024.08.17 ~ 2024.09.06 NRC Hackathon

지난 3주간 D.elight 팀으로 국립재활원에서 주최한 보조기기 해커톤 본선에 참가했습니다.

D.elight	이름	소속	분야	이메일
팀장	박형준	경상국립대학교 건축공학부	엔지니어	hypwdfi@gnu.ac.kr
팀원	장영하	가천대학교 인공지능전공	소프트웨어 개발	claude012@aiia-gcu.com
팀원	조환희	건국대학교 기계항공공학부	디자이너	stevenlego@naver.com

이번 해커톤은 시각장애인 보조기기, 청각장애인 보조기기 중 하나의 주제를 선택해 보조기기를 개발하는 방식이였는데, 저희 팀은 청각장애인 보조기기를 선택하였습니다.

저희는 기존에 없어서 애로사항을 느끼는 부분을 최대한 줄여보고자 고민 끝에 일상알림음 시/촉각 변환장치라는 주제로 Haptic Hear👂 을 구상하였습니다.

이 서비스는 청각장애인분들이 소리를 듣지 못 해 일상생활속에서 불편함을 느끼거나 화재경보음 등 다양한 경고음을 듣지 못해서 생기는 불상사를 막기 위해 기기가 대신 소리를 듣고 디스플레이에 무슨 소리인지 알려주고, 알림과 푸시알림으로 소리가 감지됨을 알려주는 서비스입니다. 저희는 아쉽게 수상은 하지 못했지만, 기간내에 목표한 기능을 개발하는데 성공해 정말 뜻깊은 경험을 했습니다.

지금부터 지난 3주간의 생생한 경험을 전달해드리겠습니다.

1주차 (08/17 ~ 08/18)

첫날엔 디캠프 선릉센터에 모여 참가 팀 접수를 했습니다.
간단한 레크레이션과 해커톤에 관한 특강을 듣고 팀별로 아이디어 스케치와 디자인 제작에 들어갔어요. 이게 저희의 1차 디자인이였고, 그 다음날 수요자 피드백을 진행하여 이미 IOT가 발달해서 가전이나 전자기기는 연결이 잘 되어있고, 웨어러블 디바이스를 많이 사용하는 추세라 또 다른 워치 형태의 웨어러블 디바이스는 부담스러울 것 같다는 피드백을 받아, 워치 앱 개발을 기획하게 되었습니다.

이것이 저희의 1주차 발표 디자인입니다. RP2040 Connect보드와 Edge Impulse를 활용한 아두이노 웨어러블 디바이스와 연동하는 어플과 스마트워치 전용 어플 2가지를 개발하기로 기획을 하고 발표를 진행했습니다.

중간 공유회 (8/24)

1주차 발표가 끝나고 다시 1주일간 개발을 하며 디벨롭 해나갔습니다.
2주차 발표는 Zoom을 활용한 온라인 발표회였고, 저희는 1주차에서 발전한 사항을 발표하였습니다.

구체적인 3D설계와 회로도를 제작하였고 기기 연결용 Android앱은 개발 완료,
Wear os 어플리케이션 또한 디자인 구현을 완료하였습니다.
인공지능 모델 또한 가상환경에서 정확도 97.8%를 달성했습니다.

최종 공유회 (9/6)

저희는 최종 공유회 발표를 하기 전 핵심기능이 구현 된 저희의 아이디어로 다시 한번 수요자 인터뷰를 진행하였습니다.

성북구 장애인 연합회 장재호 지회장님,
장애인 스포츠 지도사 및 코치 손현진 선수님

두분께 인터뷰를 하였고 아이디어는 호평을 받았으나

• 기기 디자인이 너무 눈에 띈다.
• 웨어러블 디바이스가 없는 입장에서도 너무 무겁고 불편할 것 같다.

라는 피드백을 받아 과감히 기기를 포기하고,
핸드폰이 없는 사람은 거의 없을 것이라는 생각으로 독자적인 모바일 앱과
워치앱에 집중하였습니다.

항목	세부내용	비고
일반	알람,대화,사이렌,화재경보음,사이렌소리구분	운전과 수면에 포함된 범주 모두 식별
운전	경적,사이렌소리구분	운전 시 진동으로 혼선이 없도록 경적과 사이렌 소리만 식별
수면	알람,화재경보음소리구분	수면 시 알람 소리, 화재 경보음 소리만 식별

모드는 이러한 형식으로 구분하였습니다.

이렇게 성공적으로 개발을 마쳐 최종발표 및 시연을 하였습니다.
Haptic Hear 개발에 관련한 부분은 Haptic Hear 개발후기 포스팅으로 더 자세하게
포스팅 하도록 하겠습니다.