논문 제목: CoCoaH: 문맥과의 관계를 고려한 혐오 발언 탐지

1저자: 김나연

공동저자: 김지안, 정우환

교신저자: 정우환

개제처: 2024 한국컴퓨터종합학술대회 논문집

발행년도: 2024

키워드: 혐오 발언 탐지, 문맥 정보, 인공지능, CoCoaH 모델, 텍스트 분석

---

📚 용어 & 개념 정리

📖 주요 용어 정리

용어	설명	관련 페이지
CoCoaH	댓글과 문맥 정보를 통합적으로 활용하여 혐오 발언을 탐지하는 모델	1052
Contextual Hate Speech Detection	문맥과 댓글 간 관계를 파악하여 혐오 발언을 탐지하는 태스크	1052
Auxiliary Task	문맥과 댓글의 관계를 학습하기 위한 부가 태스크	1052
BERT	NLP 태스크를 위한 사전 학습된 언어 모델	1052

---

❓ 궁금한 점

1. CoCoaH 모델의 성능이 데이터셋 별로 차이가 나는 이유는 무엇인가요?
2. Auxiliary Task가 CoCoaH의 성능에 구체적으로 어떻게 기여했는지 더 명확한 사례가 있나요?
3. CoCoaH를 다른 언어로 적용할 때 발생할 수 있는 한계점은 무엇인가요?

---

💭 비평적 분석

📊 비판할 점

1. 특정 데이터셋에서 Basic 모델이 더 높은 성능을 보인 이유에 대한 심층 분석 부족.
2. CoCoaH w/o CP와의 비교에서 Auxiliary Task의 효과를 설명하기 위한 실험 부족.
3. 소규모 데이터셋에서 모델의 일반화 가능성을 입증하는 실험이 부족함.

📝 배워야 할 점

1. 문맥 정보를 활용하여 암시적 혐오 발언을 탐지하는 접근법.
2. Auxiliary Task를 활용하여 메인 태스크 성능을 향상시키는 방법론.
3. BERT 기반의 NLP 모델 설계 및 평가 방법.

---

📍 연구 개요

🎯 연구 목적

문맥 정보를 활용하여 댓글과 문맥의 관계를 학습함으로써 기존 혐오 발언 탐지 모델보다 높은 성능을 보이는 CoCoaH 모델을 제안.

📚 연구 배경

기존 혐오 발언 탐지 연구는 단일 텍스트(댓글)에 초점을 맞추는 경우가 많아 문맥 정보의 활용이 부족했다. CoCoaH는 이를 해결하기 위해 댓글과 문맥 간의 관계를 학습하는 구조를 제안.

🔬 연구 방법 & 데이터

연구 설계:

• Main Task: Contextual Hate Speech Detection.
• Auxiliary Task: Context-Comment Pair Prediction.

데이터 수집:

• IMSyPP(EN/IT), KOLD, BEEP 데이터셋 활용.

분석 방법:

• BERT 기반 모델로 임베딩 생성 후, Cross Entropy Loss를 활용한 학습.

---

📊 주요 결과

• 핵심 발견사항:
  1. CoCoaH는 대부분의 데이터셋에서 가장 높은 F1-Score를 기록.
  2. Auxiliary Task를 추가하면 성능 하락을 방지하고 우수한 결과를 얻을 수 있음.
  3. 문맥 정보를 활용하지 않는 Basic 모델은 특정 조건에서 한계가 있음.

---

📝 결론

CoCoaH는 문맥 정보와 댓글 간의 관계를 학습하여 혐오 발언 탐지에서 뛰어난 성능을 보였다. 추가적으로, Auxiliary Task는 메인 태스크 성능 향상에 기여한다.

💡 논의점, 문제점, 제언

논의점:

• 다양한 언어와 문맥에서 모델의 적용 가능성.

문제점:

• 모델 학습에 필요한 데이터셋 크기와 언어 종속성.

제언:

• 다른 언어와 플랫폼으로 확장된 실험.

---

🔍 상세 분석

💭 이론적 프레임워크

• 사용된 이론: 문맥 기반 NLP, BERT.
• 개념적 모델: Single Encoder 구조와 Auxiliary Task의 병렬 학습.

📊 방법론 평가

• 연구 설계의 적절성: 문맥과 댓글의 관계를 학습한다는 점에서 타당.
• 데이터 수집 방법의 타당성: 플랫폼 제한을 고려한 데이터셋 재구성.
• 분석 방법의 적합성: F1-Score로 모델 성능 평가.

💡 연구의 기여

• 학문적 기여: 혐오 발언 탐지 분야에서 문맥 활용의 중요성 제시.
• 실무적 기여: 온라인 플랫폼에서의 자동화된 혐오 발언 탐지.
• 방법론적 기여: Auxiliary Task 활용 사례 제시.

---

📚 개인적 학습

📝 주요 인사이트

새롭게 배운 점:

1. 댓글과 문맥 간 관계를 학습하는 모델의 필요성.
2. Auxiliary Task가 NLP 태스크 성능을 향상시키는 방식.

적용 가능한 부분:

1. 한국어 NLP 프로젝트에서 문맥 활용 아이디어.
2. 혐오 발언 외 다른 감정 분석 분야 응용.

추가 연구 아이디어:

1. 다양한 언어에서 CoCoaH의 성능 평가.
2. 문맥 정보를 더 정교하게 활용하는 모델 설계.

---

📖 참고할 논문

• [MATHEW et al., Hatexplain, 2021]
• [YANG et al., HARE, 2023]
• [GAO & HUANG, Context Aware Models, 2017]

---

✍️ 요약 노트

CoCoaH는 문맥 정보와 댓글 간의 관계를 학습하는 BERT 기반 NLP 모델로, 기존 혐오 발언 탐지 모델보다 우수한 성능을 보였다. 특히, Auxiliary Task는 성능 향상에 크게 기여하며, 문맥 활용의 중요성을 강조한다.

강점

1. 문맥 활용으로 암시적 혐오 발언 탐지 성능 향상.
2. Auxiliary Task를 통해 모델 성능을 보완.
3. 다양한 언어와 데이터셋에서 실험 수행.

약점

1. 데이터셋 크기에 따른 모델 성능 변동.
2. 일부 데이터셋에서 Basic 모델보다 성능이 낮은 경우.
3. 다양한 플랫폼과 언어로의 일반화에 대한 실험 부족.

향후 연구 방향

1. CoCoaH를 다른 언어와 플랫폼으로 확장.
2. 문맥 정보를 더욱 정교하게 모델링.
3. Auxiliary Task의 다양한 응용 가능성 탐구.

---

CLS 토큰

CLS 토큰은 NLP 모델, 특히 BERT와 같은 트랜스포머 기반 모델에서 사용되는 특수한 토큰입니다. 이 토큰은 주로 문장의 전체적인 의미를 대표하기 위해 사용됩니다. BERT와 같은 모델은 여러 개의 입력 토큰을 처리하지만, [CLS] 토큰은 모델 출력에서 문장의 전체적인 정보를 요약하는 역할을 합니다.

---

주요 특징 및 역할

1. 위치:
   • [CLS]는 입력 시퀀스의 맨 앞에 추가되는 특수 토큰입니다.
   • 입력 예시:

     csharp
     코드 복사
     [CLS] This is an example sentence. [SEP]
     

2. 목적:
   • 문장 분류:
     • 전체 문장의 의미를 요약하는 벡터로 사용됩니다.
     • 예: 긍정/부정 감정 분류, 혐오 발언 여부 분류 등.
   • 문장 간 관계 학습:
     • 예: 두 문장 간의 관계(NLI, 문장 유사도)를 평가할 때 사용.
3. 출력:
   • 트랜스포머의 출력 중에서 [CLS] 토큰에 해당하는 벡터는 모델이 입력된 전체 문장의 요약된 표현을 포함합니다.
   • 이를 활용하여 최종 분류기(Dense Layer 등)에 입력하여 결과를 생성합니다.
4. 학습 방식:
   • [CLS] 벡터는 학습 중에 특정 태스크의 손실 함수(Cross Entropy 등)에 의해 조정되어 해당 태스크에서 의미 있는 정보를 담도록 학습됩니다.

---

예시: BERT에서 CLS 토큰의 사용

• 입력:

  css
  코드 복사
  [CLS] 문맥과 댓글을 함께 학습하는 CoCoaH 모델 [SEP]
  

• 출력:
  • 모델의 출력 벡터 중 첫 번째 값 [CLS]에 해당하는 벡터를 추출.
  • 이 벡터는 전체 입력 시퀀스의 요약 정보를 포함.
• 활용:
  • 이 벡터를 분류기(Dense Layer)에 입력하여 혐오 발언 여부를 예측:

    python
    코드 복사
    logits = Dense(output_size)(CLS_embedding)
    

---

CoCoaH에서의 활용

논문에서는 Contextual Hate Speech Detection 태스크에서 댓글과 제목의 관계를 학습하기 위해 [CLS] 토큰의 벡터를 활용합니다:

• 입력 형식: [CLS] 제목 [SEP] 댓글 [SEP]
• [CLS] 벡터는 댓글과 제목의 문맥적 관계를 요약.
• 이를 기반으로 댓글이 혐오 발언인지 여부를 판별합니다.

왜 Auxiliary Task에서 실제 제목인지 맞추는 작업이 중요한가?

1. 문맥 정보를 강화:
   • 댓글의 의미는 종종 제목이나 문맥에 의존합니다. 예를 들어, "이건 정말 짜증나네요"라는 댓글만 봐서는 어떤 의도인지 명확하지 않지만, "정치 뉴스"라는 제목과 연결되면 특정 정치적 맥락에서 혐오 발언일 가능성이 있습니다.
   • Auxiliary Task는 모델이 댓글과 제목 간의 의미적 연결성을 학습하도록 도와줍니다.
2. 암시적 혐오 발언 탐지:
   • 혐오 발언은 때로는 암시적이어서 명확한 단어 선택 없이 문맥적으로만 드러납니다.
   • 보조 태스크에서 제목과 댓글의 관계를 학습하면 모델이 암시적 혐오 발언을 더 잘 탐지할 수 있습니다.
3. 효율적인 학습:
   • Auxiliary Task는 댓글과 무관한 랜덤 제목도 포함시켜 모델이 어떤 제목이 댓글과 의미적으로 연결되어 있는지 학습하게 합니다.
   • 이를 통해 댓글과 관련 없는 문맥을 필터링하고, 의미 있는 관계를 파악할 수 있도록 돕습니다.
4. 일반화 성능 향상:
   • 메인 태스크(혐오 발언 탐지)만 학습하면 모델이 특정 패턴에 과적합(overfitting)될 수 있습니다.
   • Auxiliary Task는 모델이 다양한 댓글-문맥 쌍에서 패턴을 학습하도록 하여 일반화 성능을 높입니다.

---

Auxiliary Task의 구체적 작동 방식

1. 입력 데이터 구성:
   • 댓글(c)과 실제 제목(t)의 쌍을 구성.
   • 또한, 댓글(c)과 무작위로 선택한 다른 제목(t')을 쌍으로 구성.
   • 모델은 t가 댓글 c의 실제 제목인지, 아니면 무작위 제목(t')인지 구분해야 함.
2. 모델 학습 과정:
   • 입력: [CLS] 제목 [SEP] 댓글 [SEP]
   • 출력: 이 쌍이 실제 제목과 댓글의 관계인지 (True), 아니면 무작위 관계인지 (False).
   • 손실 함수: Cross Entropy Loss를 사용하여 정답(True/False)과의 차이를 최소화.
3. 결과 활용:
   • 이 태스크를 통해 댓글과 제목 간의 관계를 더 정밀하게 이해하도록 학습된 모델은, 메인 태스크(혐오 발언 탐지)에서 더 높은 성능을 발휘합니다.

---

Fr-HARE

1. 개념:
   • Fr-HARE는 HARE(Hate Speech with Step-by-Step Reasoning) 모델의 확장 버전으로, Chain-of-Thought (CoT) Prompting과 생성 모델을 결합하여 혐오 발언 여부를 탐지합니다.
2. 특징:
   • Chain-of-Thought (CoT):
     • 모델이 혐오 발언인지 판단할 때, 그 이유를 단계별로 생성합니다.
     • 예: 댓글이 특정 집단에 대한 부정적인 표현을 포함하고, 그것이 혐오 발언으로 간주되는 논리적인 근거를 제공합니다.
   • 모델 구성:
     • 거대 언어 모델(LLM)으로 GPT-3.5-turbo-0613을 사용하여 이유(reasoning)를 생성.
     • 생성된 이유와 레이블을 활용해 작은 생성 모델(Flan-T5)로 혐오 여부를 예측.
3. 장점:
   • 논리적 이유를 생성하기 때문에 모델이 내린 판단을 설명할 수 있음.
   • 단계적인 추론 과정을 통해 더 정교한 혐오 탐지 가능.
4. 단점:
   • 거대 언어 모델(LLM)의 비용이 높고, 대규모 계산 리소스가 필요.
   • 생성된 이유가 항상 신뢰할 수 있는 것은 아님.

---

Contextual E4

1. 개념:
   • Contextual E4는 혐오 발언 탐지에서 문맥 정보를 활용하기 위해 앙상블(Ensemble) 접근법을 사용하는 모델입니다.
2. 특징:
   • 모델 구조:
     • Single Encoder: 제목과 댓글을 하나의 입력으로 처리.
     • Dual Encoder: 제목과 댓글을 각각 별도의 입력으로 처리.
   • 앙상블:
     • 두 가지 인코더 구조와, 데이터셋 언어에 따른 사전 학습 모델을 조합하여 총 4개의 모델을 학습.
     • 각 모델의 결과를 결합(앙상블)하여 최종 예측 생성.
   • 활용된 모델:
     • 언어별로 특화된 BERT 기반 사전 학습 모델과, bert-base-multilingual-uncased 모델 사용.
3. 장점:
   • 다양한 모델을 결합하여 높은 성능을 낼 수 있음.
   • 문맥 정보를 효과적으로 활용하여 암시적 혐오 발언 탐지 가능.
4. 단점:
   • 앙상블 방법은 학습 및 추론 과정이 복잡하고, 리소스를 많이 소모.
   • 조합되는 모델 구성에 따라 성능이 불안정할 수 있음.

---

CoCoaH와의 비교

• Fr-HARE:
  • 장점: 논리적 이유 제공.
  • 단점: 높은 계산 비용.
  • CoCoaH 대비: Fr-HARE는 이유 생성에 초점을 맞추지만, CoCoaH는 문맥 정보를 활용하여 더 단순하고 효율적으로 혐오 발언 탐지.
• Contextual E4:
  • 장점: 다양한 모델 조합으로 높은 정확도.
  • 단점: 높은 복잡성과 불안정성.
  • CoCoaH 대비: Contextual E4는 앙상블 방법에 의존하지만, CoCoaH는 Auxiliary Task를 사용하여 더 가벼운 구조로 높은 성능 달성.