📖 학습한 내용

• 프로젝트 : 사용자 맞춤형 키오스크

📖 핵심내용

📌 프로젝트 : 사용자 맞춤형 키오스크

감정 분류

FER2013 데이터셋

1) Visiosn Transfomer(ViT)

google/vit-base-patch16-224-in21k을 감정 분류를 할 수 있도록 파인튜닝한 모델을 사용
EST croped face test 데이터셋을 돌려봄
-> 어큐러시 0.45으로 결과가 좋지 않음
-> FER2013 데이터셋이 해상도가 낮고, 품질이 좋지 않은 데이터셋인 것이 원인이라고 판단
-> 다른 데이터셋 기반의 모델을 탐색

2)AffectNet, RAF-DB 데이터셋

• 7종류의 감정을 구분(happy, sad, surprise, angry, neutral, disgust, fear)
• 해상도가 준수하고, 성별 인종이 고르게 분포된 데이터셋
• 오픈소스여서 데이터를 받으려고 했지만, 대학교수의 메일이 없으면 다운되지 않는다.
• 캐글에서 데이터셋을 받으려했지만, 해상도가 떨어지고, 본인들의 목적에 맞게 구성이 변경된 상태인 것을 확인
  -> 사전학습 모델을 다양한 한국인 데이터셋으로 파인튜닝 하는 방향으로 설정
• FMAE-IAT : 사전 학습 모델이 주어진 것이 아님. ViT 기반의 MAE 모델을 사용하여 이미지 데이터셋에 대해 자가 지도 학습을 수행하는 코드만 주어져서 실행 불가
• DDAMFN++
  happy : 매우 잘 구분함(272/300)
  sad : 잘 구분하지만, disgust 로 구분한 비중이 높음 (64/300)
  suprise : 낮은 확률의 구분(125/300), fear로 분류가 더 되었음(134/300)
  angry : 매우 낮은 확률로 구분(46/300), disgust로 많이 분류됨(114/300)
  결론 : EST에서 주어진 자료는 인위적인 얼굴 표정과, 4가지 밖에 되지 않은 감정 분류 때문에 좋지 못한 결과가 나온다. 따라서 새로운 데이터셋을 학습시키는 것이 좋아 보인다.

📖 이후 학습 계획

• 신규 데이터셋 구축