안면 움직임 부호화 시스템(FACS)은 얼굴 근육의 미세한 변화를 실행 단위(Action Units)로 세분화하여 표정을 객관적으로 측정하는 전문적인 체계이다. 이 기술은 감정적인 주관성을 배제하고 근육의 움직임과 강도를 수치화함으로써, 심리학 및 임상 연구에서 신뢰할 수 있는 데이터 분석 도구로 활용된다.
이번에 알아볼 논문은 얼굴 근육의 미세 움직임을 객관적 지표로 분류한 시초로, 1978년에 나온 문헌으로, 굉장히 오래된 논문이지만, 미세 표정 오류 탐지 알고리즘 연구의 필수적인 근간이 되는 연구라고 볼 수 있기에 알아볼 필요성이 크다.
이 논문을 통해 인간의 생명 현상과 해부학적 물리 법칙까지는 완벽히 학습하지 못했다는 가정을 동반한 딥페이크 생성의 약점을 파고들어보자.
What is FACS?
- FACS의 정의: 얼굴 움직임 코딩 시스템(FACS, Facial Action Coding System)은 얼굴 근육의 움직임을 묘사하여 표정을 인식하고 분류하는 데 널리 사용되는 프로토콜이다.
FACS는 근육 움직임에 특정 감정적 의미를 선험적으로 부여하지 않으며, 표정의 발생 빈도와 강도를 객관적으로 측정하는 데 사용됩니다.
즉, 표정이 전달하려는 '메세지'를 해석하는 대신, 얼굴에서 나타나는 '행동(Facial Behaviors)' 자체를 묘사하는 데에 집중한다.
기존 코딩 시스템과의 차이
- 기존 시스템의 한계 : FACS 이전의 코딩 시스템들은 주로 표정 기저에 깔린 메시지를 파악하는 데에 초점을 맞췄다. 당시에는 감정 상태를 결정하기 위한 표준화된 시스템이 없었기 때문에, 자신만의 판단과 경험에만 의존하여 표정을 평가할 수밖에 없었다.
연구진들은 이러한 접근 방식이 주관적이라고 판단하여 FACS만의 객관성을 강조하였다.
- FACS의 객관성 : FACS는 처음부터 감정적 평가(Emotional Valuation)와 분리된, 표준화되고 객관적인 측정 시스템을 제공함으로써 기존 방식의 한계를 극복했다.
FACS 시스템 자체가 감정을 다루지 않는다고 해서 감정 연구에 쓰이지 않은 것은 아니다.
FACS 코더들이 얼굴의 움직임을 객관적으로 기록하고 나면, 이후 연구자들이 이 데이터를 바탕으로 특정 얼굴 행동이 어떤 감정적 상황이나 실험 참가자의 자기 보고(self-reports)와 어떻게 연관이 되는지 조사하는 단계에서 해석을 추가할 수 있다.
How does FACS works?
FACS는 얼굴 근육의 미세한 움직임을 세분화하고 체계적으로 분류하여 측정하는 시스템을 기반으로 한다.
연구진들은 얼굴의 각 개별 근육을 전기적으로 자극하고, 그 움직임을 자발적으로 복제(Replicate)하려는 시도를 통해 FACS 시스템을 구축했다.
FACS는 얼굴의 움직임을 신뢰성 있게 구별할 수 있는 가장 작은 단위인 Action Unit (AU)로 정의한다.
각각의 AU는 하나 이상의 근육 움직임과 직접적으로 연결되어 있다.
(2002년 기준, FACS는 27개의 얼굴 AU, 25개의 머리 및 눈 위치 코드, 그리고 28개의 기타 움직임으로 구성된다.)
부위별 AU 세분화 : 27개의 얼굴 AU는 상안부와 하안부 움직임으로 나눌 수 있다
- 상안부(Upper Face) : 눈썹 올리기(AU 1, 2), 눈썹 내리기(AU 4), 눈꺼풀 올리기(AU 5), 뺨 올리기(AU 6) 등이 포함된다.
- 하안부 (Lower Face) : 상안부보다 더 복잡하며 수직, 수평, 사선, 안와(Orbital) 방향의 움직임을 포함한다. (예를 들어, 입꼬리를 일직선으로 아래로 당기는 것은 수직AU(15)에 해당하고, 입꼬리를 위쪽 및 바깥쪽으로 당기는 것은 사선 AU(12)에 해당한다.
표현 강도(Intensity)에 따른 척도
- A : 간신히 보이는 Trace 수준
- B~D : 약간(Slight), 뚜렷한(Marked), 두드러진(Pronounced), 심한(Severe), 극심한(Extreme) 수준
- E : 최대(Maximum) 수준
- 연구자에 따라 특정 강도부터만 유의미한 코딩 값으로 포함하기도 한다.
연구 목적에 따라 코더들은 두 가지 코딩 방식 중 하나를 선택한다.
-
포괄적 코딩(Comprehensive Coding)
영상이나 사진에 존재하는 모든 AU를 빠짐없이 코딩한다.
탐색적 연구에 유리하지만, 시간이 많이 걸리는 단점이 있다. -
선택적 코딩(Selective Coding)
사전에 수립된 가설에 따라 연구에 중요한 특정 AU만을 골라서 코딩한다. 이 방식은 분석 속도가 훨씬 빠르다.
Reliability of FACS
FACS 프로토콜 자체의 신뢰도를 직접적으로 조사한 연구는 사실 소수에 불과하다.
FACS를 사용하는 연구자들은 보통 자신의 코더들이 'FACS 최종 테스트'를 통과했다고 명시하며, 전체 코딩에 대한 평가자 간 신뢰도만을 보고하는 경향이 있다.
개별 액션 유닛(AU)에 대한 신뢰도는 잘 보고하지 않기 때문에, 특정 AU가 다른 것보다 신뢰성이 떨어지는지 판단하기 어렵다.
사실 신뢰도를 측정하는 기준 자체도 복잡하다. 단순히 AU의 존채 여부뿐 아니라, 발생 타이밍(언제 얼굴에 나타났는가), 강도(어느 정도인가)까지 모두 일치해야 하기 때문이다. 예를 들어, 두 명의 코더가 눈썹 안쪽을 올리는 AU1을 코딩한다면, 이 세 가지 요소에 대해 모두 의견이 일치해야 한다.
Sayette 연구진은 100명 이상의 참가자 비디오를 포괄적으로 코딩하여 48프레임 이상 나타난 19개의 AU에 대해 평가자 간 신뢰도를 측정했다.
그 결과, 대부분의 AU에서 코더들은 0.5초 이내의 오차로 발생 여부를 파악해 내며 '우수(good)'에서 '매우 우수(excellent)' 수준의 일치도를 보였다.
그러나 눈 가늘게 뜨기(AU 7)이나 입술 누르기(AU 22)와 같은 몇몇 AU는 신뢰도가 훨씬 낮게 나타났다. 이는 해당 움직임들이 시각적으로 매우 유사한 다른 AU와 자주 혼동되기 때문인 것으로 보인다.
FACS in Research
Emotional Expression in FACS
연구진들은 특정 액션 유닛(AU)들의 조합이 놀람, 두려움, 행복, 슬픔, 혐오, 분노와 같은 기본적인 감정들과 자주 연관된다는 일반적인 지침을 제시한다.
이를 통해 연구진들은 복잡한 표정을 분석하고 그 안에 담긴 감정적 의미를 평가할 수 있다.
사람들은 즐겁지 않은 상황에서 거짓말을 할 때 종종 미소로 진짜 감정을 숨기려 한다. 연구에 따르면, 미소로 위장한 거짓말쟁이드르이 얼굴에서는 혐오, 슬픔, 분노와 연관된 아주 미세하고 짧은 순간의 AU가 새어 나오는 것으로 나타났다.
Cross-culture Research
Automated Measurement
수동 코딩에 소요되는 시간과 에너지를 줄이기 위해, 컴퓨터 비전 및 패턴 인식 기술을 통해 자동화된 FACS 코딩 시스템을 개발한다.
능동 외양 모델(AAM)과 SVM 분류기를 사용하여 얼굴 형태를 모델링하거나 얼굴 영역을 추적하여 액션 유닛과 그 강도를 탐지한다.
Conclusion
FACS는 표정에 감정적인 라벨을 덧씌우지 않고, 개별 얼굴 근육의 움직임을 있는 그대로 묘사하여 표정의 발생 빈도와 강도를 객관적으로 측정하고 인식하는 널리 확립된 시스템이다.
FACS가 지닌 객관성과 신뢰성으로, 발달 연구, 비교 연구 등 광범위한 영역에서 활용 가능하며 FACS를 통해 복잡한 표정을 분석하고 AU에 담긴 검정적 의미를 평가할 수 있게 되었다.
