[🏆 2024 공개SW 개발자대회 일반부 동상] A0175 Hearus팀

🏆 2024 공개SW 개발자대회 일반부 동상

2021년 건국대학교 교내 장애인 서포터즈 활동을 진행하면서, 아 이런이런 기능들을 기술을 통해 구현하면 청각장애 학우분들과 서포터즈 분들 모두 편하겠다 라는 생각을 가지고

이를 구름 KDT에서 자연어처리 분들과 함께 협업하여 아주 간단한 형태로 만들어 파이널 프로젝트에서 우수상을 받는 것으로 멈추지 않고

그 후로도 계속, 약 11개월동안 시험기간에도 프로젝트를 멈추지 않고 개발하고, 대외적으로도 여러 활동을 거듭한 결과

일반부임에도 불구하고 정말 감사하게도 공개SW 개발자대회에서 동상을 수상할 수 있었다.

학생부가 아님에도 일반부로 지원한 이유는 같은 구름 KDT 출신의 FE 팀원분과 참가하고 일반부의 수준 높은 참가자 분들과 실력을 겨루고 성장하고자 하는 이유 때문이었다.

2학기 중간고사 일정과 라이선스 검증, 기능 검증, 멘토링 등의 일정이 겹쳐 힘들었지만 좋은 팀원분들과 함께한 덕분에 약 1년동안의 프로젝트의 결실을 맺을 수 있었다.

프로젝트 소개

프로젝트 마일스톤

약 5개월동안 다양한 파트에서 해결되어야 하는 과제가 존재했기에, 2주를 하나의 SPRINT로 설정하고 과제를 배정하여 각 파트별로 개발, 검증, 고도화 과정을 통해 프로젝트를 구현하였다.

프로젝트 아키텍처

프로젝트 구성

React, Spring Boot, FastAPI 세 개의 프레임워크를 통해서 프로젝트를 구현하였으며

프론트엔드의 경우 최신 React Hooks 및 상태 관리 라이브러리를 활용하고 아토믹 디자인 시스템을 차용하였다.

또한 Spring Boot 기반의 확장 가능한 아키텍처를 구축하였으며 RESTful API를 구현하고 보안 및 인증 시스템을 JWT Token을 통해 통합하였다.

FastAPI의 경우 비동기 처리 및 실시간 음성인식을 가능케 하기 위해 API 기반의 LLM AI Model Serving LangChain을 구축하였다.

인프라 구성

프론트엔드 서비스와 각 서버를 개발하고 배포하기 위해 Git Workflow, Github Action, Jenkins를 활용하여 완전한 CI/CD 파이프라인을 구축하였다.

또한 여러 구조의 데이터를 유기적으로 활용하기 위해 MariaDB와 MongoDB를 활용하고 비용 절감을 위해 AWS RDS가 아닌 외부 서버에 DB를 호스팅하였으며

GPT API를 활용하는 대신 AMI, Spot Instance를 통해 모델 배포 환경을 구축하여 MAU 1천명 기준 GPT API 대비 60%, On-Demand 대비 80%정도 더 경제적인 환경을 구축할 수 있었다.

또한 개발 기간 중 리소스를 절감하기 위해 CloudWatch, Lambda, Step Function을 활용해 인프라를 구축하였다.

주요 기능

실시간 음성-텍스트 변환 기능은 음성 데이터를 Socket.io, WebSocket을 통해 OpenAI Whisper 모델에 전달하고, 변환 결과의 신뢰도를 높이기 위해 llama3 모델을 통해 문맥과 변환 결과를 수정한다.

중요 단어 하이라이팅 기능에서는 llama3 모델이 변환이 완료된 스크립트 내용을 분석하고 핵심 키워드와 중요 개념을 하이라이팅한 후 문단 형태로 재구조화 한다.

더 나아가 정확하지 못한 음성 인식 결과를 수정하여 이를 통해 장애 학우들의 학습 효율을 향상시키고 복습 시간을 단축시킬 수 있을 것으로 기대한다.

인공지능 맞춤형 문제 생성 기능은 해당 기능은 사용자인 장애 학우들이 강의 내용을 더욱 원활하게 학습할 수 있도록 변환된 텍스트에 기반하여 자동으로 문제를 생성한다.

마지막으로 고등교육 기관의 장애 학우들의 편의를 위해 변환된 강의 스크립트를 시간표 형식으로 직관적으로 관리할 수 있도록 기능을 구현하였다.

프로젝트 라이선스

Hearus를 오픈소스 프로젝트로서 더 많은 사람들과 함께 발전시키기 위해 위와 같이 완화된 라이선스를 채택하였다.

또한 오픈소스 프로젝트 기여 환경을 만들어나아가기 위해, 각 프로젝트 Repository 별로 위와 같이 프로젝트 구조 등과 기여 방법을 안내하는 Wiki 페이지를 구현하였고

또한 백엔드 Repository의 경우 현재 구현되어 있는 모든 기능들에 대한 RESTful API 요청, 응답에 대한 상세한 내용을 기재함으로서 더욱 원활한 기여 환경을 구축하기 위해 노력하였다.

팀원 소개

총 6명의 팀원들이 파트를 나누어 함께 프로젝트를 구현하였다.
각 파트 모두 매주 2회씩 진행되는 Scrum에서 진행 사항을 공유하고 방향성을 확립하며 프로젝트를 진행하였다.

시연 영상

시연영상	주요 기능 시연영상
https://youtu.be/lB3ca2H8BLo	https://youtu.be/Du9uL2UWUPo

Github Repository

HEARUS-REACT-FRONTEND	HEARUS-SPRING-BACKEND	HEARUS-AI-SERVING
https://github.com/TEAM-Hearus/HEARUS-REACT-FRONTEND	https://github.com/TEAM-Hearus/HEARUS-SPRING-BACKEND	https://github.com/TEAM-Hearus/HEARUS-AI-SERVING