Explainable depression detection with multi-aspect features using a hybrid deep learning model on social media (WWW, 2022)

Eun·2023년 5월 9일

Mental Health Paper Review

목록 보기

3/4

READING POINT

증상 정보를 활용했을 때의 해석 가능성을 어떻게 어필하는지를 중점적으로 읽어보기

Task: Multi-Aspect Depression Detection + Model explainability
Goal: 소셜 미디어에서 우울한 사용자의 다양한 행동에서 다중 측면 기능을 활용하여 우울증 감지를 위한 설명 가능한 딥 러닝 기반 솔루션을 개발하는 것
Point: 사용자가 우울한 이유를 설명할 수 있는 사용자 트윗을 선택한다.

✔︎ 연구 배경

medical domain에서 모델 설명 가능성은 모델 예측의 통찰력을 제공하여 신뢰를 구축하는데 중요하다.

[우울증 진단]
우울증 진단은 초기 단계에서 숙련된 정신과 의사의 철저하고 상세한 심리 검사가 필요하고[ 42 ] 인터뷰, 설문지, 자기 보고 또는 친구 및 친척의 증언이 필요하기 때문에 일반적으로 어려운 작업입니다. 더욱이 우울증을 앓는 사람들은 문제의 초기 단계에서 의사에게 도움을 요청하기 위해 병원을 방문하지 않는 것이 매우 일반적입니다 [ 69 ].

[SNS 데이터]
정신 건강 문제로 고통받는 사람들이 너무 자주 "암시적으로"(때로는 "명시적으로") 자신의 감정과 정신 건강 문제로 인한 일상적인 어려움을 해소 방법으로 소셜 미디어에 공개하는 것이 일반적입니다[ 3 , 36]. 따라서 소셜 미디어는 우울한 사람들을 자동으로 발견할 수 있는 훌륭한 리소스입니다.

[딥러닝 우울증 탐지]
또한 소셜 미디어의 우울증 감지에 딥 러닝이 적용되어 기존 기계 학습 방법보다 월등히 우수한 성능을 보여주었습니다. Hamadet al. [ 68]는 우울증에 걸린 사용자를 자동으로 감지하기 위한 계산 프레임워크를 제시했습니다. 처음에는 모든 사용자 트윗 시퀀스에 대한 하이브리드 추출 및 추상화 요약 전략을 통해 관련 콘텐츠를 선택하여 보다 세분화되고 관련성 높은 콘텐츠로 이어진 다음 딥 러닝으로 전달됩니다. Convolutional Neural Network의 통합 학습 기계와 Attention-Enhanced Gated Recurrent Unit으로 구성된 프레임워크는 기존의 강력한 기본 방법보다 더 나은 경험적 성능을 제공합니다.

✔︎ 이전 연구의 한계점

대부분의 기존 기계학습 모델 방법론들은 설명 가능성을 제공하지 않는다.

[설명 가능성]
최근 연구에서 우울증 진단에 딥러닝 방법의 효과가 나타났음에도 불구하고 대부분의 기존 머신러닝 방법은 우울증 예측에 대한 설명 가능성을 제공하지 않기 때문에 예측이 인간에게 모호하여 딥러닝 모델에 대한 신뢰도가 떨어집니다.

따라서 적절한 사용자 신뢰를 유발하고 결정의 이유를 제공하기 위해 소셜 미디어에서 우울한 사용자의 다양한 행동에서 다중 측면 기능을 활용하여 우울 감지를 위한 설명 가능한 딥러닝 기반 솔루션을 개발하는 것을 목표로 합니다.

✔︎ Method

Hierarchical Attention Network MDHAN을 사용하여 설명 가능한 Multi-Aspect Depression Detection을 제안한다.

소셜 미디어(Twitter)에서 우울한 사용자를 자동으로 감지하고 모델 예측을 설명한다.

MDHAN은 설명 가능한 결과로 이어지는 패턴을 포착할 수 있는 방식으로 개발 되었다.

1. tweet-level과 word-level에 attention mechanism을 적용하여 게시물을 encoding한다.
2. 각 트윗과 단어의 중요도를 계산한다.
3. 사용자 타임라인(post)에서 semantic sequence features를 캡쳐한다.
   a. 트윗 타임라인이 시간이 지남에 따라 우울한 사용자 감정 변화를 반영하는 중요한 힌트를 제공한다.

✔︎ Contribution

소셜 미디어의 텍스트, 행동, 시간 및 의미 측면 기능의 심층 학습을 사용하는 새로운 설명 가능한 우울증 감지 프레임워크입니다. 우리가 아는 한, 이것은 우울증 감지를 위한 딥 러닝에서 단어 임베딩과 공동으로 주제, 시간 및 의미 기능의 다중 측면을 사용하는 첫 번째 작업입니다.
우울증 감지를 위한 모델의 설명 가능성 보기를 소개하고 우울증 감지 예측을 설명하기 위해 계층적 주의 네트워크를 기반으로 설명 가능성을 지원하는 파이프라인을 구축합니다.
벤치마크 우울증 트위터 데이터 세트에 대한 광범위한 실험이 수행되었으며, 이는 기본 방법과 비교할 때 제안된 방법의 우수성을 보여줍니다.

✔︎ Dataset

Twitter

데이터 수집
- 우울증 데이터 세트: 각 사용자는 2009년에서 2016년 사이의 트윗 콘텐츠를 기반으로 우울한 것으로 분류됩니다.
- 비우울증 데이터 세트: 각 사용자는 비우울증으로 분류되며 트윗은 2016년 12월에 수집되었습니다.
- 우울증-후보 데이터 세트: 수집된 작성자는 우울증-후보로 레이블이 지정되며, 여기에서 "우울"이라는 단어가 포함된 트윗이 수집되었습니다.
데이터 전처리
- NLTK 사용 - stop word 제거
- noisy 데이터 제거
  - 긍정적인 트윗으로 분류된 사용자 수: 5899.
  - 긍정적인 사용자의 트윗 수: 508786.
  - 부정적인 라벨이 지정된 사용자 수: 5160.
  - 부정적인 사용자의 트윗 수: 2299106.
- sparsity 데이터 제거
  - 0개 미만의 게시물을 게시한 사용자와 5000명 미만의 팔로워가 있는 사용자를 제외

총 4208명의 사용자

Feature selection
1. Social information and interaction
  각 사용자 프로필에 포함된 feature
  팔로우하는 사용자 수, 친구, 즐겨찾기 등 user data에서 사용
  - 각 사용자에 대해 총 트윗 수, 모든 트윗의 총 길이 및 리트윗 수를 계산
  - 하루 24시간 동안 사용자가 게시한 트윗 수를 세어 각 사용자의 게시 시간 분포를 계산
2. Emojis sentiment
  사용자 트윗에는 긍정, 부정 및 중립으로 분류할 수 있는 많은 이모티콘이 포함
  - 각 긍정적, 중립 및 부정적 유형에 대해 각 트윗에서 빈도를 계산
  - 그런 다음 각 사용자의 트윗에서 숫자를 합산하여 각 사용자에 대한 합계를 얻음
    Voice Activity Detection (VAD) features도 고려함
  - Valance, Arousal, Dominance scores를 포함
3. Topic distribution
  Unsupervised Latent Dirichlet Allocation (LDA)를 사용하여 토픽 분포 파악
  - k = 25
4. Domain-specific feature
  Antidepressants
  - wikipedia 페이지를 활용하여 항우울제 목록을 만듦
  
  Depression symptom counts
  - DSM-IV를 기준으로 9가지 증상 중에서 몇 번이나 언급했는지 계산
  - 단어 임베딩을 활용하여 9개 증상에 대한 동의어를 포함하는 목록을 만들었음

✔︎ Model

MLP + HAN 기반의 하이브리드 모델

Models explain

HAN
hierarchical word와 tweet level encoding을 통해 representation features를 학습하기 위해 tweet embedding을 입력으로 받는다.

The output in the middle of both attributes is concatenated to represent one single vector feature that fed into an activation layer of sigmoid for prediction.

RNN을 사용한 tweet encoder
최근 연구에 따르면, HAN을 사용하여 문서에서 가장 중요한 단어와 문장을 고려하여 설명을 생성할 수 있습니다.
tweets representation을 학습하기 위해 아래 사진의 HAN을 제안함
각 단어를 미리 훈련된 단어 임베딩의 고정 크기 벡터로 입력 레이어로 나타냅니다.

Word encoder
bidirectional Gated Recurrent Unit (BiGRU)를 컨텍스트 정보를 캡처하기 위한 단어 수준 인코더로 사용
Tweet encoder
학습된 tweet vector에서 tweet representation을 학습하기 위해, tweet levele에서 context 정보를 캡쳐합니다.
word encoder component와 유사하게 BiGRU 사용

MLP
user behaviour vector인 네 가지 aspects feature를 입력으로 받아 distinct 와 latent features, 그리고 두 feature의 상관관계를 포착한다.

Multi-aspect encoder
user behaviours features에서 세분화된 정보를 얻기 위해, multi-aspect features는 1-layer MLP를 통과합니다.

Classification layer
우울증 여부를 예측한다. 우울하지 않음 0, 우울함 1
behaviours features와 word level and tweet level을 통합하여 sigmoid에 통과하여 분류한다.
cross-entropy error를 loss로 사용한다.

Explainability
사용자가 우울한 이유를 설명할 수 있는 사용자 트윗을 선택한다.
일반적으로 model의 attention map은 우울증을 식별하는데 가장 많이 기여한 단어와 해당 트윗을 선택할 수 있다.
따라서 attention weight가 높은 사용자 트윗은 필수적이며 사용자가 우울한 이유를 설명할 수 있다.

✔︎ 실험 구성

Baseline model

MDL: Multimodal Dictionary Learning Model은 Twitter에서 우울한 사용자를 감지하는 것입니다[ 44 ]. 그들은 사전 학습을 사용하여 잠재 데이터 기능과 사용자의 희소 표현을 추출합니다.
SVM: Support Vector Machines는 광범위한 분류 작업[ 21 ]에 적용된 대중적이고 강력한 분류기이며 강력한 기준선으로 남아 있습니다.
NB: Naive Bayes는 인스턴스 간의 조건부 독립성에 대한 "순진한" 가정과 함께 Bayes 정리를 적용하는 것을 기반으로 하는 확률 알고리즘 제품군입니다[ 33 ].
BiGRU : 우리는 사용자 트윗 표현을 얻기 위해 어텐션 메커니즘과 함께 양방향 게이트 반복 유닛 [7 ]을 적용했고, 그런 다음 사용자 트윗 분류에 사용했습니다.
MBiGRU : 사용자 행동 및 사용자의 온라인 타임라인(게시물)에 대한 다중 측면 기능을 위한 MLP 및 BiGRU 기반의 하이브리드 모델입니다.
CNN : 우리는 Convolutional Neural Networks [ 22 ]를 어텐션 메커니즘과 함께 사용자 트윗을 모델링하여 우울증 감지를 위한 다양한 컨볼루션 창 크기의 의미를 캡처할 수 있도록 활용했습니다.
MCNN : 사용자 행동 및 사용자의 온라인 타임라인(게시물)에 대한 다중 측면 기능을 위한 MLP 및 CNN 기반의 하이브리드 모델입니다.
HAN : 계층적 주의 신경망 프레임워크[ 63 ], 우울증 감지를 위해 사용자 게시물에 사용됨. 네트워크는 각 트윗에 대한 단어 수준 관심과 각 사용자 게시물에 대한 트윗 수준 관심으로 첫 번째 사용자 게시물을 인코딩합니다.
MDHAN : 본 논문에서 제안하는 모델.