1) AFEW-VA
- 공식 명칭 / 논문: AFEW-VA database for valence and arousal estimation in-the-wild (Image and Vision Computing, 2017, Kossaifi et al.) (jeankossaifi.com)
- 참여자(피촬영자): 상업 영화(feature films)에서 추출된 장면의 배우들. (ibug.doc.ic.ac.uk)
- 어노테이션 방식: 전용 온라인 툴을 사용해 프레임 단위로 V/A를 연속 평정(continuous)했고, 68점 얼굴 랜드마크를 추적·공개. 원본 AFEW의 이산 감정 레이블과 연계 가능. (jeankossaifi.com)
- 어노테이션 항목 & 시간해상도: Valence/Arousal(연속, 프레임별), 68 랜드마크(프레임별), AFEW의 이산 감정(클립 단위). (ibug.doc.ic.ac.uk)
- 규모: 600 클립, 프레임별 라벨 제공. (ibug.doc.ic.ac.uk)
- 다운로드/정보: iBUG 공식 페이지에서 12개 zip로 제공(연구용). (ibug.doc.ic.ac.uk)
2) Aff-Wild2
-
공식 명칭 / 논문: Aff-Wild2: Extending the Aff-Wild Database for Affect Recognition (Kollias & Zafeiriou, arXiv:1811.07770) 및 ABAW 시리즈 논문들. (arXiv)
-
참여자(피촬영자): 유튜브 등 in-the-wild 영상 속 일반인·크리에이터 등 554명(남 326, 여 228) 다양 인종/연령/환경. (ibug.doc.ic.ac.uk)
-
어노테이션 방식: 전문가가 프레임 단위로 아래 3과제 전부를 수작업 라벨링. (ibug.doc.ic.ac.uk)
-
어노테이션 항목 & 시간해상도:
- V/A (연속, 프레임별)
- 7 기본표정 (프레임별)
- 12 AUs (1,2,4,6,7,10,12,15,23,24,25,26; 프레임별) (ibug.doc.ic.ac.uk)
-
규모: 564개 비디오, 약 280만 프레임. (ibug.doc.ic.ac.uk)
-
다운로드/정보: iBUG의 Aff-Wild2 페이지(EULA 작성 후 이메일 요청 절차 상세 안내). (ibug.doc.ic.ac.uk)
3) VEATIC (Video-based Emotion and Affect Tracking in Context)
- 공식 명칭 / 논문: VEATIC: Video-Based Emotion and Affect Tracking in Context Dataset (WACV 2024) (CVF Open Access)
- 참여자(피촬영자/평정자): 영화/다큐/홈비디오 속 타깃 인물들을 대상으로 하고, 평정은 192명의 주석자가 실시간으로 수행. (CVF Open Access)
- 어노테이션 방식: 주석 인터페이스에서 실시간 연속 평정(continuous, per-frame)으로 타깃 캐릭터의 V/A를 평가(문맥/배경을 적극 고려). (Veatic)
- 어노테이션 항목 & 시간해상도: Valence/Arousal (프레임별 연속값); 개별 주석자 곡선과 평균값 제공(심리물리 연구용 개별 평정도 제공). (Veatic)
- 규모: 124개 비디오, 각 프레임에 V/A 라벨. (CVF Open Access)
- 다운로드/정보: 공식 사이트에서 연구용 다운로드 링크와 데이터 구성/심리물리 파일 제공. (Veatic)
4) SEWA Database
-
공식 명칭 / 논문: SEWA(DB) 개요·구성은 iBUG/SEWA 페이지, 학술 소개는 SEWA 논문(2019) 참고. (ibug.doc.ic.ac.uk)
-
참여자(피촬영자): 408명, 6개 문화권(영국·독일·헝가리·그리스·세르비아·중국), 남녀 50:50, 연령대별 균형. 광고 시청 후 영상채팅(dyadic) 대화. (ibug.doc.ic.ac.uk)
-
어노테이션 방식: 대화 전 구간에 대해 다중 모달 주석(시각·동작·연속정서). (ibug.doc.ic.ac.uk)
-
어노테이션 항목 & 시간해상도:
- V/A (연속, 시간축), Liking (연속)
- 얼굴 랜드마크, AUs (1,2,4,12,17)
- 머리 끄덕임/흔들기, 손 제스처, 미믹리 등. (연속 또는 이벤트 수준) (ibug.doc.ic.ac.uk)
-
규모: 408명 다문화 대화 코퍼스(세부 길이는 과업/세션별로 상이). (ibug.doc.ic.ac.uk)
-
다운로드/정보: iBUG SEWA 페이지에서 공식 SEWA 사이트 링크로 이동해 다운로드(연구용). (ibug.doc.ic.ac.uk)
5) OMG-Emotion (OMG Emotion Challenge / Dataset)
- 공식 명칭 / 논문: The OMG-Emotion Behavior Dataset (Barros et al., 2018; IJCNN Challenge 베이스 페이퍼) (arXiv)
- 참여자(피촬영자/주석자): 유튜브 모놀로그 영상의 화자들(발화자)을 대상으로 하고, MTurk 주석자 최소 5명이 각 발화(utterance)마다 평정. (GitHub)
- 어노테이션 방식: 한 비디오를 발화 단위로 분할하고, 각 발화마다 V/A를 평정(문맥 유지를 위해 순차 시청 후 주석). 또한 다수결로 이산 감정(emotionMaxVote)을 부여, 골드 스탠더드를 제공(개별 주석값도 배포). 전사(ASR transcript) 파일 제공. (GitHub)
- 어노테이션 항목 & 시간해상도: Valence/Arousal (연속값이지만 단위는 ‘발화별’ 평균값) → 프레임별 연속 주석은 아님. + 이산 감정(발화별). (GitHub)
- 규모: 420개 영상, 평균 약 1분 길이, 발화 단위로 분할·라벨. (GitHub)
- 다운로드/정보: 대회 GitHub(데이터 CSV·주석 구조·참여 지침) 및 함부르크대 챌린지 페이지 링크 제공. (GitHub)
감정 인식 데이터셋 종합 분석
1. AFEW-VA
데이터셋 명: AFEW-VA (Acted Facial Expressions in the Wild - Valence and Arousal)1
공식 논문: Kossaifi, J., Tzimiropoulos, G., Todorovic, S., & Pantic, M. (2017). "AFEW-VA database for valence and arousal estimation in-the-wild." Image and Vision Computing2
참여자: 영화 배우들의 자연스러운 연기로부터 추출된 비디오 클립을 사용하여 다양한 연령대, 성별, 인종의 인물들이 포함됨1
어노테이션 방법: 새로운 어노테이션 도구를 개발하여 기존 trace-style 도구의 문제점(지연, 집중력 저하, 부정확성)을 해결하고, 온라인으로 원격 어노테이션을 가능하게 함2
어노테이션 내용:
- 프레임별 연속적인 Valence와 Arousal 값
- 68개의 얼굴 랜드마크(facial landmarks) 정보
- 시간에 따라 변화하는 연속 감정 차원1
데이터셋 규모: 600개의 비디오 클립으로 구성2
다운로드 사이트: https://ibug.doc.ic.ac.uk/resources/afew-va-database/[1]
2. Aff-Wild2
데이터셋 명: Aff-Wild21
공식 논문: 여러 논문이 있으나 주요 논문으로는 Kollias, D., & Zafeiriou, S. (2021). "Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units and a Unified Framework"와 관련 ABAW 워크샵 논문들4
참여자: 554명의 피험자(남성 326명, 여성 228명)로 구성되며, 다양한 연령대, 인종, 국적의 사람들이 포함됨1
어노테이션 방법: 프레임별로 전문 어노테이터들이 수동으로 어노테이션을 수행1
어노테이션 내용:
- 프레임별 Valence와 Arousal (모든 564개 비디오)
- 7가지 기본 표정 (546개 비디오, 약 260만 프레임)
- 12개의 Action Units (541개 비디오, 약 260만 프레임)
- 모든 어노테이션이 프레임별로 시간에 따라 변화함1
데이터셋 규모: 564개 비디오, 약 280만 프레임1
다운로드 사이트: https://ibug.doc.ic.ac.uk/resources/aff-wild2/ (학술 목적으로만 제공, EULA 서명 필요)1
3. VEATIC
데이터셋 명: VEATIC (Video-based Emotion and Affect Tracking in Context)5
공식 논문: Ren, Z., Ortega, J., Wang, Y., Chen, Z., Guo, Y., Yu, S.X., & Whitney, D. (2024). "VEATIC: Video-based Emotion and Affect Tracking in Context Dataset." IEEE/CVF Winter Conference on Applications of Computer Vision68
참여자: 총 192명의 어노테이터가 참여하여 개별 편향을 최소화5
어노테이션 방법: 실시간 어노테이션 방식을 사용하여 각 프레임에 대해 연속적인 평가를 수행. 어노테이터들은 대상 인물과 주변 맥락을 모두 고려하여 감정을 평가5
어노테이션 내용:
- 프레임별 연속적인 Valence와 Arousal 값
- 맥락(context) 정보를 포함한 감정 인식
- 시간에 따라 변화하는 연속 감정 차원5
데이터셋 규모: 124개의 비디오 클립 (할리우드 영화, 다큐멘터리, 홈 비디오에서 추출)5
다운로드 사이트: https://veatic.github.io/ (연구 목적으로 제공)5
4. SEWA Database
데이터셋 명: SEWA (Sustained Emotionally Colored Machine-Human Interaction using Nonverbal Expression)1
공식 논문: Kossaifi, J., et al. (2021). "SEWA DB: A Rich Database for Audio-Visual Emotion and Sentiment Research in the Wild." IEEE Transactions on Pattern Analysis and Machine Intelligence9
참여자: 408명의 참여자가 6개의 서로 다른 문화적 배경(영국, 독일, 헝가리, 그리스, 세르비아, 중국)을 가지며, 남녀 비율 50:50, 20세 이상부터 60세 이상까지 각 연령대별로 최소 6명씩 포함101
어노테이션 방법: 이원 상호작용(dyadic interactions) 상황에서 서로 잘 아는 사람들 간의 대화를 기록하고 어노테이션. 70쌍 이상의 20년 이상 결혼한 부부들도 포함1
어노테이션 내용:
- 얼굴 랜드마크 추적
- Action Units (AU1, AU2, AU4, AU12, AU17)
- 머리 제스처 (끄덕임, 흔들기)
- 손 제스처
- 모방 행동
- 연속적인 Valence와 Arousal 어노테이션
- 연속적인 선호도(liking) 어노테이션
- 시간에 따라 변화하는 연속 감정 차원1
데이터셋 규모: 2,000분 이상의 오디오-비주얼 데이터11
다운로드 사이트: https://ibug.doc.ic.ac.uk/resources/sewa-database/[1]
5. OMG-Emotion Dataset
데이터셋 명: OMG-Emotion Dataset (One-Minute-Gradual Emotion Dataset)12
공식 논문: Barros, P., et al. (2018). "The OMG-Emotion Behavior Dataset." International Joint Conference on Neural Networks (IJCNN)13
참여자: 다양한 YouTube 채널에서 수집된 독백(monologue) 비디오의 화자들이 참여12
어노테이션 방법: Amazon Mechanical Turk 플랫폼을 사용하여 각 비디오당 최소 5명의 독립적인 어노테이터가 평가. 어노테이터들은 맥락 정보를 고려하여 각 발화(utterance) 후에 어노테이션을 수행12
어노테이션 내용:
- 발화(utterance) 수준에서의 Valence와 Arousal 값 (프레임별이 아닌 발화별)
- 7가지 범주형 감정 (Neutral, Happiness, Sadness, Anger, Surprise, Fear, Disgust)
- 각 발화에 대해 단일 V/A 값이 할당되므로 시간에 따른 변화는 발화 단위로만 추적 가능12
데이터셋 규모: 420개의 비디오 (평균 길이 1분), 총 약 10시간의 데이터14
다운로드 사이트: https://github.com/knowledgetechnologyuhh/OMGEmotionChallenge[12]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
물론입니다. 요청하신 5가지 비디오 데이터셋에 대한 상세 정보를 정리해 드리겠습니다.
1. AFEW-VA (Acted Facial Expressions In The Wild - Valence and Arousal)
- 데이터셋 명: AFEW-VA [1, 2, 3]
- 공식 논문:
- J. Kossaifi, G. Tzimiropoulos, S. Todorovic and M. Pantic, "AFEW-VA database for valence and arousal estimation in-the-wild", in Image and Vision Computing, 2017. [1, 2]
- (원본 AFEW 데이터셋) A. Dhall, R. Goecke, S. Lucey and T. Gedeon, "Collecting Large, Richly Annotated Facial-Expression Databases from Movies," in IEEE MultiMedia, vol. 19, no. 3, pp. 34-41, July-Sept. 2012. [4, 1]
- 참여자: 영화에 등장하는 배우들입니다. 데이터셋은 다양한 장르의 영화에서 추출된 클립으로 구성되어 있으며, 이는 통제된 실험실 환경이 아닌 'in-the-wild'와 유사한 복잡한 환경을 모방합니다. [4, 5, 1]
- 데이터 어노테이션 방식: 각 비디오 클립에 대해 프레임 단위로 매우 정확한 어노테이션이 제공됩니다. [1, 2]
- 어노테이션 항목 및 시간적 변화:
- Valence(쾌-불쾌) 및 Arousal(각성-이완): 프레임별로 연속적인 값이 어노테이션되어 시간에 따라 변화하는 감정 상태를 포착합니다. [1, 6]
- 얼굴 랜드마크: 68개의 얼굴 주요 지점이 프레임별로 어노테이션되어 있어, 시간에 따른 얼굴 기하학의 변화를 추적할 수 있습니다. [1, 6]
- 이산 감정: 부모 데이터셋인 AFEW에서는 클립 단위로 6가지 기본 감정(분노, 혐오, 공포, 행복, 슬픔, 놀람)과 중립 상태가 레이블링되어 있습니다. [4, 5, 1]
- 데이터셋 규모: 600개의 비디오 클립으로 구성되어 있습니다. [1, 6]
- 공식 사이트 링크: https://ibug.doc.ic.ac.uk/resources/afew-va-database/ 1
2. Aff-Wild2
- 데이터셋 명: Aff-Wild2 [7, 8, 9]
- 공식 논문: Aff-Wild2는 ABAW(Affective Behavior Analysis in-the-wild) 대회를 통해 지속적으로 확장 및 활용되고 있으며, 여러 관련 논문이 있습니다. 핵심적인 논문들은 다음과 같습니다.
- 참여자: YouTube 비디오에 등장하는 일반인들입니다. 따라서 인종, 연령, 성별, 국적 등이 매우 다양하며, 영화 속 연기된 감정이 아닌 실제 사람들의 자발적인 감정 표현을 담고 있습니다. [7, 10, 8]
- 데이터 어노테이션 방식: 여러 명의 전문가 어노테이터가 참여했습니다. Valence-Arousal의 경우, 4명의 전문가가 조이스틱을 사용하여 실시간으로 프레임별 값을 입력했으며, 최종 값은 이들의 평균으로 결정되었습니다. 기본 감정은 7명의 전문가가, Action Unit은 3명의 전문가가 프레임 단위로 어노테이션했습니다. [11, 8]
- 어노테이션 항목 및 시간적 변화: 이 데이터셋의 가장 큰 특징은 감정 분석의 세 가지 핵심 요소를 모두 프레임 단위로 제공한다는 점입니다.
- Valence-Arousal: 프레임별로 [-1, 1] 범위의 연속적인 값으로 제공되어 시간에 따른 미세한 감정 변화를 나타냅니다. [7, 8]
- 기본 감정: 7가지 기본 감정(분노, 혐오, 공포, 행복, 슬픔, 놀람, 중립)이 프레임별로 레이블링되어 있습니다. [7, 8]
- 얼굴 움직임 단위(Action Units): 12개의 주요 AU(1, 2, 4, 6, 7, 10, 12, 15, 23, 24, 25, 26)의 활성화 여부가 프레임별로 어노테이션되어 있습니다. 7
- 데이터셋 규모: 약 564개의 비디오와 약 280만 개의 프레임으로 구성된 대규모 데이터셋입니다. [7, 12]
- 공식 사이트 링크: https://ibug.doc.ic.ac.uk/resources/aff-wild2/ 7
3. VEATIC (Video-based Emotion and Affect Tracking in Context)
- 데이터셋 명: VEATIC 13
- 공식 논문: 데이터셋과 함께 공개된 논문이 있으며, WACV 2024 학회에서 발표되었습니다. 13
- 참여자: 할리우드 영화, 다큐멘터리, 홈 비디오 등 다양한 영상 속 인물들입니다. 13
- 데이터 어노테이션 방식: 주석가의 주관적 편향을 줄이기 위해 총 192명이라는 대규모 인원이 어노테이션에 참여했습니다. 이들은 각 비디오의 프레임에 대해 실시간으로 연속적인 Valence 및 Arousal 값을 평가했습니다. 13
- 어노테이션 항목 및 시간적 변화:
- Valence-Arousal: 각 프레임에 대한 연속적인 V/A 등급이 제공되어 시간에 따라 변화합니다. 특히, 인물의 표정뿐만 아니라 주변 상황과 맥락(context) 정보까지 함께 고려하여 감정을 추론하도록 설계된 것이 특징입니다. 13
- 데이터셋 규모: 124개의 비디오 클립으로 구성되어 있습니다. 13
- 공식 사이트 링크: https://veatic.github.io 13
4. SEWA (Automatic Sentiment Analysis in the Wild) DB
- 데이터셋 명: SEWA DB [14, 15]
- 공식 논문: Kossaifi, J., et al. "SEWA DB: A Rich Database for Audio-Visual Emotion and Sentiment Research in the Wild." 2019 8th International Conference on Affective Computing and Intelligent Interaction (ACII). [15, 16]
- 참여자: 6개 문화권(영국, 독일, 헝가리, 그리스, 세르비아, 중국) 출신의 398명(또는 408명)의 다양한 연령대(18-65세 이상) 및 성별의 사람들입니다. 참가자들은 광고를 시청하거나, 시청 후 파트너와 화상 채팅으로 토론하는 등 자연스러운 상황에서 녹화되었습니다. [14, 15]
- 데이터 어노테이션 방식: 5명의 평가자가 참여하여 연속적인 감정 값을 평가하는 등, 반자동화된 방식을 포함한 반복적인 어노테이션 프로세스를 거쳤습니다. [14, 17]
- 어노테이션 항목 및 시간적 변화: 매우 풍부한 어노테이션을 제공하며, 대부분 시간의 흐름에 따라 변화하는 동적 정보입니다.
- Valence-Arousal-Liking: 연속적인 값으로 제공됩니다. [14, 15]
- 얼굴 랜드마크 및 얼굴 움직임 단위(FAU): FAU의 강도(intensity)를 포함하여 동적으로 어노테이션되었습니다. [14, 15]
- 기타: 음성(vocalisations), 언어(verbal cues), 미러링(mirroring), 동의(agreement) 등 다양한 사회적 신호가 포함됩니다. [14, 15]
- 데이터셋 규모: 총 2,000분 이상의 오디오-비디오 데이터로 구성됩니다 (광고 시청 반응 1,525분, 화상 토론 568분). [14, 15]
- 공식 사이트 링크: 논문에서는 http://db.sewaproject.eu/를 언급하고 있으며, 관련 프로젝트 홈페이지는 https://sewaproject.eu/ 입니다. [15, 18]
5. OMG-Emotion Challenge Dataset
- 데이터셋 명: OMG-Emotion Dataset (One-Minute-Gradual Emotion Dataset) [19, 20, 21]
- 공식 논문:
- Barros, P., et al. "The OMG-Emotion Behavior Dataset." 2018 International Joint Conference on Neural Networks (IJCNN). [22, 23]
- (챌린지 결과) Cui, Y., et al. "OMG - Emotion Challenge Solution." arXiv preprint arXiv:1805.00348, 2018. [24, 25]
- 참여자: "독백(monologue)"과 관련된 키워드로 검색된 YouTube 비디오에 등장하는 인물들입니다. [19, 20, 21]
- 데이터 어노테이션 방식: 비디오는 발화(utterance) 단위로 나뉘며, 각 발화는 Amazon Mechanical Turk를 통해 최소 5명의 독립적인 평가자에 의해 어노테이션되었습니다. 평가자들은 문맥을 파악하기 위해 한 비디오의 발화 클립들을 순서대로 시청하며 평가를 진행했습니다. [19, 20, 22]
- 어노테이션 항목 및 시간적 변화:
- Valence-Arousal: 발화(utterance) 단위로 어노테이션되었습니다. 즉, 각 발화 클립마다 하나의 V/A 값이 주어지며, 프레임별로 변화하는 값은 아닙니다. 이는 시간에 따라 점진적으로 감정이 변하는 전체 비디오의 특성을 반영하지만, 어노테이션 자체는 클립 단위의 평균 또는 대표 값입니다. [20, 22]
- 기본 감정: 7가지 기본 감정(분노, 혐오, 공포, 행복, 중립, 슬픔, 놀람)이 발화 단위로 레이블링되어 있습니다. [19, 20, 22]
- 데이터셋 규모: 평균 길이 1분의 비디오 567개로 구성되며, 이는 약 2,400 ~ 2,700개의 발화 클립으로 나뉩니다. [19, 22, 26]
- 공식 사이트 링크:
데이터셋 별 링크
AFEW-VA
- 핵심: 프레임별 연속 V/A + 68 랜드마크, 600 클립. (i·bug)
공식 논문
https://jeankossaifi.com/static/pdfs/afewva.pdf
https://www.sciencedirect.com/science/article/abs/pii/S0262885617300379공식 페이지 / 다운로드 안내
https://ibug.doc.ic.ac.uk/resources/afew-va-database/(i·bug)
추가(참고)
https://dl.acm.org/doi/10.5555/3143567.3143655Aff-Wild2
- 핵심: 프레임별 V/A, 7 기본표정, 12 AUs; 564 비디오/약 280만 프레임. (i·bug)
공식 논문(대표)
https://arxiv.org/abs/1811.07770(arXiv)
공식 페이지 / 다운로드 안내(EULA)
https://ibug.doc.ic.ac.uk/resources/aff-wild2/(i·bug)
추가(참고)
https://service.tib.eu/ldmservice/dataset/aff-wild2(TIB 서비스)
VEATIC (WACV 2024)
- 핵심: 영화/다큐/홈비디오 124 클립, 프레임별 실시간 주석 V/A(개별 평정 곡선/평균). (Veatic)
공식 논문(WACV 2024 OA)
https://openaccess.thecvf.com/content/WACV2024/html/Ren_VEATIC_Video-Based_Emotion_and_Affect_Tracking_in_Context_Dataset_WACV_2024_paper.html공식 페이지 / 다운로드 안내
https://veatic.github.io/(Veatic)
추가(직접 PDF)
https://whitneylab.berkeley.edu/PDFs/Ren_WACV_2024.pdfSEWA
- 핵심: 2,000분+ 멀티모달(광고 시청/영상채팅), 연속 V/A/Liking, 랜드마크, 일부 AUs, 비언어행동(머리/손 제스처 등). 참가자 398명(공식 논문 기준). (ResearchGate)
공식 논문(ACII 2019)
https://www.researchgate.net/publication/336202590_SEWA_DB_A_Rich_Database_for_Audio-Visual_Emotion_and_Sentiment_Research_in_the_Wild프로젝트 / 다운로드 안내
https://sewaproject.eu/추가(공개 산출물: Deliverable)
https://www.ec.europa.eu/research/participants/documents/downloadPublic?appId=PPGMS&documentIds=080166e5ac271314OMG-Emotion (Challenge Dataset)
- 핵심: 유튜브 모놀로그 비디오, 발화(utterance) 단위 V/A + 이산 감정(프레임별 V/A는 아님). 영상 본수는 원 논문 567개(깃허브 리드미엔 420 표기). (Hamburg Informatik)
공식 논문(IJCNN 2018)
https://www2.informatik.uni-hamburg.de/wtm/publications/2018/BCLSSW18/Barros_OMG.pdf
https://arxiv.org/abs/1803.05434공식 페이지 / 챌린지 안내
https://www2.informatik.uni-hamburg.de/wtm/OMG-EmotionChallenge/데이터/어노테이션(깃허브)
https://github.com/knowledgetechnologyuhh/OMGEmotionChallenge(GitHub)
(보조) 미러 다운로드/소개
https://opendatalab.com/OpenDataLab/OMG-Emotion/download