한국인 안면 이미지 데이터를 활용한 얼굴 인식 출석 자동화 시스템 프로젝트입니다.
- 현재 교육받는 강의장은 아침에 출석할 시/점심 먹으러 갈 시 출석 명부에 매번 직접 서명을 해야하는 시스템을 가지고 있습니다. 하지만 가끔 깜빡하여 재확인해야하는 일이 종종 발생하곤 합니다. 이번 프로젝트는 이를 미연에 방지하고 보다 간편한 시스템 구축을 위해 시작하게 되었습니다. 모델에 활용된 데이터셋은 사전에 AI hub 기관에 의뢰한 약 800만장의 이미지데이터입니다.
프로젝트 계획서
(https://junho1224.notion.site/36623873b91740a48b7da7fef9e61d5f)
-
프로젝트 계획서입니다. 총 5명의 조원이 협업했습니다.🙋♂️🙋♂️🙋♂️
-
프로젝트 진행 기간은 2022-12-19 ~ 2022-12-27 9일 소요되었습니다.
-
주제선정 - 데이터 수집/전처리 - Model 학습 및 강화 - 결과 Report(평가 및 검증) 순으로 진행하였습니다.🐼🐼🐼
프로젝트 내용
-
주제 선정 : 안면 인식 출석 시스템 구축
-
데이터 수집 및 전처리
-
데이터 수집
한국과학기술원 인공지능 연구단에서 제공한 약 800만장의 한국인 안면 이미지 활용
-
데이터 전처리
1) 데이터 범위 설정(약 800만개 데이터 => 약 9만개 데이터)
화질(3) - ID(400) - 악세서리(6) - 조명세기(30) - 표정(3) - 각도(13) 에서
고화질(1) - ID(400) - 악세서리(6) - 조명세기(1) - 표정(3) - 각도(13) 데이터만 추출2) yolo 활용을 위한 이미지별 boxing 좌표 txt 파일 전처리
3) Image Generator에 적합한 형태로 전처리
train 폴더 - 악세서리001표정01 폴더 - ID001카메라01.jpg...ID400카메라_13.jpg (validation폴더, test폴더 이하 동)
-
* 딥러닝 모델 학습 및 시스템 구축
-
yolo를 활용한 이미지데이터 안면 박싱 모델
1) yolo v5 기반 모델 활용 : 다양한 epoch을 시도하여 mAP 최적화
2) 주어진 프로젝트 시간에 적절한 학습 속도/ 모델 성능 최적화를 고려한 화질 재설정( 576x864 -> 200x300 )
3) 전처리된 원본데이터의 얼굴 박싱 좌표 학습
4) 평가 및 검증
metrics/mAP_0.5 : 0.9929
metrics/mAP_0.5:0.95 : 0.8358 -
추출된 안면 이미지에서 악세서리와 표정 분류
1) CNN & DNN 모델 활용
2) Image Generator 활용
주어진 프로젝트 시간에 맞는 학습 속도/ 모델 성능 최적화를 고려한 화질 재설정( 576x864 -> 200x300 )3) 다양한 규제 시도 후 acc 최적화
4) 평가 및 검증
train_acc : 92.8%
val_acc : 88.6%
test_acc : 89.2% -
카메라 및 웹페이지 활용 시스템 구축
1) 실시간 카메라 촬영 환경 구축/검증
안면 박싱 모델과 악세서리/표정 분류 모델 임계치 조절
학생들 각사진을 학습시켜 신상/악세서리 등을 분류하여 출석되는 시스템 구축
출석 확인 시 신상정보 및 전자 음성 출력2) 웹페이지 활용 출석 로그 출력
실시간 카메라 작동으로 신상/악세서리 등을 분류
웹페이지로 해당 인물의 출석 정보 로그 출력
-
한계점 및 향후 개발 방향
-
한계점
1) 머리카락을 모자로 인식하는 경우가 많아 성능이 떨어짐
2) 표정에 대한 분류가 어려워 실시간 카메라를 활용한 시스템까지는 적용시키지 못함
-
향후 개발 방향
1) 원본데이터 약 800만장 전부 활용하여 모델 성능을 끌어올릴 수 있음
2) 학습한 이미지 데이터의 화질과 카메라 화질을 일치시키면 성능을 더욱 끌어올릴 수 있음
감사합니다.🐸🐸🐸
-
참고
딥러닝안면 인식 출석 시스템프로젝트 (2) 글에 기재된 코드 참고하시면 되겠습니다.
