세종대학교 Capstone디자인 수업에서 진행한 프로젝트이다.
구현, 리팩토링 과정 및 코드는 페이스리뷰 시리즈의 다른 글에 정리하였고,
해당 글은 프로젝트 기능 및 UI 소개 글이다.
AI를 이용한 YouTube시청자(웹캠 사용자)의 감정분석 프로젝트 Face Review
🗓️ 프로젝트 기간
• 2023.10.13~2023.11.30
👥 팀원
• 장주원 - Frontend
• 박찬진 - Frontend
• 김대선 - Backend
• 조경연 - AI + Backend
💻 기술 스택
• TypeScript, JavaScript
• React
• Zustand
• SCSS
• Git
• Flask
• Python (OpenCV, TensorFlow 등)
📎 Frontend
[Face Review] react-router-dom 라이브러리를 사용한 라우팅
https://velog.io/@juwon98/Face-Review-Router
[Face Review] Zustand를 사용한 상태관리
https://velog.io/@juwon98/Face-Review-Zustand
[Face Review] Responsive Web 구현 및 useMediaQuery를 사용한 refactoring
https://velog.io/@juwon98/Face-Review-Responsive
🔍 프로젝트 상세
페이스리뷰는 이름 그대로 이용자의 표정을 통해 감정을 분석하고, 그 분석된 감정 데이터를 분석해서 비슷한 감정분포를 가지는 영상들을 추천할 수 있도록 영상 추천 알고리즘에 활용하였다.
시스템 구성
소켓 연결을 통해 실시간으로 유저의 웹캠 이미지 데이터를 서버로 전송하고, 전달받은 이미지 데이터를 훈련된 AI모델에 전달해 감정을 분석한다.
분석된 감정 데이터는 DB에 저장되어 유저에게 영상을 추천하는 알고리즘에 사용되고, 해당 영상의 시간대별 타 유저들이 느낀 감정, 유저가 최근 본 영상에서 느낀 감정분포 그래프 등을 보여준다.
Front-end는 AWS를 통한 CI/CD 무중단 배포를 구현하였고,
Back-end에서는 Google GCP 서버를 사용하였다.
AI모델을 훈련하는 과정에서는 AI Hub에서 제공하는 '한국인 감정인식을 위한 복합 영상' 데이터셋을 사용하였으며, openCV에서 제공하는 detect_face 함수를 통해 사진에서 얼굴 부분만 잘라 resizing하고, 흑백처리를 한 뒤 진행하였다.
ResNet50 방식을 사용하였으며, 학교에서 제공해준 리눅스 서버에서 batch size 등 설정을 바꿔가며 훈련시킨 여러 모델 중 손실률이 가장 낮고, 정확도가 높은 모델을 채택하였다.
🌐 시연영상 및 링크
이미지 클릭시 유튜브로 이동
Capstone디자인 수업 종강 후에 비용 문제로 서버를 바꾸고 DB도 초기화되어서 구현된 기능만 볼 수 있도록 유지 중이다.
Face Review (AI를 이용한 YouTube 시청자의 감정분석 프로젝트)
http://www.facereview.net.s3-website.ap-northeast-2.amazonaws.com/
