Suicidal Risk Detection for Military Personnel
군인 자살 위험 감지를 위한 소셜 미디어 분석
Summary
- Task: Suicidal Risk Detection (Document Classification)
- Limitation of previous work: 일반인의 자살 위험 연구 결과를 군인에게 적용하기 어려움
- Solution: 군 관련 데이터셋 구축 & 군 관련 전문가의 관점에서도 annotate
- Contribution
- 군 관련 데이터셋 구축
- 높은 분류 성능
- 두 가지 관점에서 자살 위험도 고려
Data Collection
Collecting Posts
2019년 네이버 지식인에서 수집
58개의 군사 관련 키워드와 자살 또는 자해 용어를 사용
ex) '군사력', '군대+자해', '군대+자살'
익명성 보장을 위해 모든 키워드에 대해 이름이나 timestamp 같은 메타 데이터를 제외하고 수집
44,108개의 post 수집
Preprocessing
1. 중복 게시물 제거
2. 군대와 관련이 없는 사람(군인의 지인)이 쓴 글 수동으로 제거
3. 개인 식별 가능 정보와 named entity 수동으로 제거 후 unidentifiable placeholder로 교체
전처리 후 2,791개의 post 남음
average length: 92.7 word
Ethical Concerns
익명화 잘 했어요~!
Annotating Suicidal Risk
5명의 annotator가 익명 게시물에서 작성자(군인)의 자살 위험 정도를 평가
post-level에서 risk를 annotate함
Annotation Criteria
표1은 국방부에서 발행한 annotation 기준
level 0부터 level 3까지의 risk level이 표시됨
Annotation Perspective
군인의 자살 위험도 평가는 군사적 환경 특유의 다양한 요인으로 인해 전문적인 임상 지식과 함께 군사 경험이 필요함
따라서 두 가지 관점을 분리하여 고려하였음
1. Military expert -> Internal perspective
2. Clinical expert -> External perspective
Annotation Process
External export annotator: Psychiatrist, Psychotherapist
Internal export annotator: Military Counselor, Commander 2명
각 주석자는 2,791개의 post를 독립적으로 평가 후 4개의 class로 분류
각 그룹 내에서 의견 차이를 보이는 게시물들은 한 번 더 독립적으로 평가하도록 요청 받음
대부분은 초기 평가를 변경하지 않았음
Annotation Results
각 주석자에 대한 위험 수준 빈도와 주석자 간의 일치 정도를 확인
Distribution of Risk Levels
대부분의 게시물은 위험 없음 또는 저위험으로 라벨링됨
External export annotator는 대부분을 위험 없음으로 평가하는 경향이 있으며,
Internal export annotator는 위험 없음보다는 낮은 위험으로 라벨링을 지정함
고위험 및 임박 위험으로 분류된 게시물의 비율은 3-10%로 계층 간 왜곡된 빈도 분포
(skewed frequency distribution)를 보임
Inter-Annotator Agreement (IAA)
같은 그룹 내의 일치도가 더 높음
Krippendorff’s α : 평가자 간 신뢰도
E gruop Krippendorff’s α = 0.58
I gruop Krippendorff’s α = 0.55
전체 주석자 (5명) Krippendorff’s α = 0.37
Comparison between Perspectives
1, 2번은 두 관점이 같은 점수를 줬지만
3, 4번은 다른 점수를 부여함
세번째 post는 군대 생활에 잘 적응하지 못하고 우울증과 자살 생각에 시달리는 내용이다.
부대 내 생활에 부정적인 영향을 줄 것으로 보고 위험 요소가 높다고 판단했고,
이 장병의 생활과 근무를 책임지는 지휘관의 입장에서 신경을 써야 함
그러나 외부 주석자들은 작성자가 자살 행위를 시도하는 것보다는 상담을 원하기 때문에 자살 위험이 없다고 판단함
네번째 post는 자살에 대한 생각을 표현하기 때문에 외부 주석자들은 더 위험하다고 판단
반면, 내부 주석자들은 군인들 사이에서 병역 의무에 대한 부정적 표현을 많이 들어왔기 때문에 위험성이 낮다고 판단
이러한 사례들을 고려하여 두 가지 관점을 함께 그리고 분리하여 고려해야 한다고 생각함
Experiments
자살 위험 가능성을 경고하기 위해 각 게시물의 risk value 최대값을 사용
전문가의 입장에서 FP가 FN보다 낫다고 판단
Classification Types
post를 3가지 방식으로 분류함
1) 4 risk levels
2) Flagged or not (binary)
{(Flagged: Low, High, Imminent Risk),
(not Flagged: No Risk)}
3) Urgent or not (binary)
{(Urgent: High, Imminent Risk),
(not Urgent: Low, No Risk)}
Models
1) Convolutional Neural Network (CNN)
2) Pretrained language models
- BERT-Multilingual
- KoBERT
- XLM-R
두 convolution layer의 input으로 pre-trained Korean subword-level word embedding을 사용
Results
Metric: macro F1 score
external annotator's 평가에 lmminent risk의 수가 적기 때문에 4 levle risk 분류에서 internal expert group이 더 높은 점수 경향성을 보임
Flagged에 level 1,2,3이 합쳐져서 imbalance 문제가 완화됨
일반인의 자살 위험 연구 결과를 군인에게 적용하기 어려움
한국의 소셜 Q&A 사이트에서 현역 군인이 작성한 군사 관련 콘텐츠가 포함된 게시물 수집
군사 전문가와 정신 건강 전문가가 annotate
자살 위험 수준에 대한 13,955개의 export annotation과 함께 2,791개의 게시물이 포함됨
fine-tuned SOTA 모델을 사용하여 suicide risk의 level을 예측, 0.88의 F1 score 도달
focused contribution: 데이터셋 구축
좋았던 점
데이터 특성에 맞춰 (군인들이 쓴 글) 두 가지 관점에서 annotator를 나눠서 실험한 것
일치도를 확인한 것도 처음 본 아이디어
아쉬운 점
Inter-Annotator agreement 점수가 더 높았다면 관점을 분리한 것이 더 의미있고 설득력 있지 않았을까
우리도 연구할 때 이렇게 하면 좋을 거 같다
분석하는 부분이나 실험 부분에 새로운 관점을 추가해보면 좋을 것 같다
task를 조금 더 다양하게 해보면 좋을 것 같다 -> ex) 3가지 분류 타입
이 논문이 좋은 학회에 퍼블리쉬된 이유가 무엇일지
데이터셋을 구축하고 공개한 것 (개인정보 부분까지 잘 고려했음)
domain-specific한 주제를 선정한 것
왜 한국어 데이터셋인가?에 대한 의문에 -> 의무 복무 국가라는 특성이 잘 반영된 듯
데이터 셋 구축이나 실험 결과에 의문이 남지 않게 논문을 깔끔하게 잘 작성한 것, 꼼꼼하게 연구한 듯하다!
