SelfStudyMonitor

• 1주일 1프로젝트의 첫번째 프로젝트

  학습 셀프 모니터링 모델 개발

결과물

1일차 결과물

• github link

최종 기능

웹캠으로 실시간 분류 및 모니터링 지표 제공

• 시간 (지속 시간, 기간)
• 횟수

  label : [자리비움 / 학습중] , [집중 / 평소 / 딴짓]

구현

• google의 pretrained model, mediapipe의 Holistic 사용
• Study/ Stop class 분류
  데이터셋은 직접 제작
• sklearn 기반 (standization, randomforest)

문제점

sklearn -> cpu 기반 : 학습 오래걸림

오늘 시도한 방법 : 라벨 당 1000장의 데이터 중 100장 샘플링

• sol A : gpu 사용 (후보 : LSTM)

마스크 착용 시 얼굴 하관의 face mesh가 제대로 인식 안됨

오늘 시도한 방법 : 정지한 상태에서는 비교적 인식이 잘된다는 것을 발견

• sol A : 많은 데이터셋으로 극복 시도
  using GPU, 10배 or 100배 많은 데이터 셋 사용

• sol B : 다른 방법 이용

1. 눈 깜박임 감지로 실시간 상태 확인
2. 몸 중앙(양 어깨 좌표의 평균) 좌표인식 -> 변화량 기반 상태 확인

Reference

• https://github.com/nicknochnack/Body-Language-Decoder
• https://google.github.io/mediapipe/solutions/holistic