Dataset: 독특한 Task 및 Data 소개

1. 혐오 발언 및 공격적 언어 탐지

1.1 혐오 발언 탐지 (Hate Speech Detection)

혐오 발언(Hate Speech)은 인종, 성별, 성적 지향, 종교 등 개인의 특성을 바탕으로 특정 집단이나 개인을 비하하거나 공격하는 언어를 의미합니다. 이러한 혐오 발언은 인터넷상에서 다양한 형태로 퍼지며, 이를 방지하기 위해 자동화된 혐오 발언 탐지 모델이 요구됩니다. 혐오 발언 탐지 모델은 학습된 데이터를 기반으로 혐오적 또는 공격적인 언어와 그렇지 않은 언어를 자동으로 분류하며, 이를 통해 인터넷에서의 부정적인 대화를 줄이는 데 기여합니다.

• 대표적인 데이터셋: HateXplain
  HateXplain은 설명 가능한 혐오 발언 탐지를 위해 개발된 데이터셋으로, 각 게시물에 대해 다음 세 가지 정보를 제공합니다: (1) 혐오/공격/일반으로의 3분류, (2) 혐오 발언의 타깃이 되는 커뮤니티 식별, (3) 해당 발언이 특정 라벨을 가지게 된 근거를 제공하는 부분. 이러한 데이터셋은 혐오 발언 탐지의 투명성을 높이고 모델이 어떻게 결정을 내리는지 이해할 수 있도록 돕습니다.

1.2 반대 발언 생성 (Counter Speech Generation)

Counter Speech Generation은 혐오 발언에 대해 사실 기반의 반박 발언을 생성하여 발화자의 인식을 교정하고 혐오 발언을 억제하려는 작업입니다. 이 작업은 혐오 발언에 대한 대화형 대응을 자동화하여, 사람들에게 혐오 발언의 문제점을 깨닫게 하고 대화의 건전성을 유지하려는 목적을 가지고 있습니다.

• 대표적인 방법론: Generate, Prune, Select
  이 방법론은 혐오 발언에 대한 반박을 생성하는 파이프라인을 제시합니다. 먼저 혐오 발언에 대해 다양한 반박 발언을 생성(Generate)하고, 불필요하거나 덜 효과적인 발언을 제거(Prune)한 후, 가장 적절한 반박을 선택(Select)합니다. 이를 통해 모델이 신뢰성 있고 설득력 있는 발화를 하도록 돕습니다.

• 대표적인 데이터셋: ProsocialDialog
  ProsocialDialog는 대화 시스템이 사회 규범을 준수하면서 비윤리적이거나 편향된 발화에 대응할 수 있도록 돕는 데이터셋입니다. 이를 통해 모델이 다양한 부적절한 발언에 적절히 대응하고 대화 상대를 설득하거나 교화하는 데 도움을 줍니다.

1.3 풍자 탐지 (Sarcasm Detection)

Sarcasm Detection은 텍스트에서 풍자적 의미나 반어법을 감지하고 인식하는 작업입니다. 인간은 일상 대화에서 종종 비꼬거나 반어법을 사용하여 의도를 전달합니다. 이러한 언어는 텍스트의 표면적인 의미와 실제 의도가 다르기 때문에 인공지능 모델이 이해하기 어렵습니다. 풍자 탐지는 특히 소셜 미디어나 온라인 커뮤니티에서의 대화 내용을 정확히 이해하는 데 필수적입니다.

• 대표적인 데이터셋: iSarcasm
  iSarcasm 데이터셋은 풍자적 발언을 포함한 트윗 데이터를 수집하여, 각 트윗이 풍자를 포함하는지 여부를 라벨링하고, 풍자의 유형(예: 아이러니, 과장 등)을 제공합니다. 이 데이터셋을 통해 모델은 풍자적 표현을 학습하고, 텍스트 내에서의 풍자 여부를 더 잘 파악할 수 있습니다.

2. 기만 감지 (Deception Detection)

2.1 가짜 뉴스 탐지 (Fake News Detection)

Fake News Detection은 인터넷에서 유포되는 허위 정보를 식별하고 분류하는 작업입니다. 가짜 뉴스는 일반적으로 극적인 제목과 과장된 내용을 포함하며, 이러한 정보를 걸러내기 위해 Fake News Detection 모델이 필요합니다. 이 작업은 SNS와 같은 인터넷 플랫폼에서 신뢰할 수 있는 정보만이 유통되도록 보장하는 데 중요한 역할을 합니다.

• 대표적인 데이터셋: LIAR
  LIAR는 ACL 2017에서 발표된 데이터셋으로, 다양한 종류의 뉴스 기사의 진실 여부를 평가하기 위해 사용됩니다. 이 데이터셋은 각 뉴스 기사에 대해 그 신뢰도를 판단할 수 있는 다양한 주석(annotation)을 제공합니다.

2.2 사실 확인 (Fact Checking)

Fact Checking은 주어진 정보의 진실성을 검토하여 허위 정보를 바로잡는 작업입니다. 가짜 뉴스의 확산을 막기 위해서는 사실 확인이 필수적이며, 이를 통해 사용자는 신뢰할 수 있는 정보를 얻게 됩니다.

• 대표적인 데이터셋: FEVER
  FEVER는 대규모 사실 검증을 위한 데이터셋으로, 뉴스 기사나 텍스트의 진실 여부를 확인하기 위해 구축되었습니다. 이 데이터셋은 수많은 문장에 대한 진실성 평가를 제공하여, 모델이 다양한 문맥에서의 진실 여부를 판단할 수 있도록 돕습니다.

3. 기계 번역 (Machine Translation)

3.1 품질 예측 (Quality Estimation)

Quality Estimation(QE)은 기계 번역(MT)의 품질을 예측하는 작업입니다. 번역된 문장이 원문의 의미를 얼마나 정확하고 자연스럽게 전달하는지를 평가하는 것이 목적입니다. 번역 품질을 평가하는 모델은 기계 번역 시스템이 생성한 결과물의 오류를 예측하고, 이를 개선할 수 있도록 돕습니다.

• 대표적인 데이터셋: QUAK
  QUAK은 한국어와 영어 간의 기계 번역 품질을 평가하기 위한 데이터셋입니다. 이 데이터셋은 번역된 문장이 얼마나 원문과 잘 맞아떨어지는지를 평가하며, 번역 시스템의 품질 개선에 기여합니다.

3.2 자동 후편집 (Automatic Post Editing)

Automatic Post Editing(APE)은 기계 번역의 결과물에서 발생하는 오류를 자동으로 수정하는 작업입니다. 이는 번역의 문법적 오류, 어휘 선택의 부정확성, 의미의 일관성 부족 등을 수정하여 번역 품질을 높이는 데 기여합니다.

• 대표적인 데이터셋: SubEdits
  SubEdits는 APE 작업을 위해 설계된 데이터셋으로, 번역된 문장들에서의 일반적인 오류를 수정하는 방법을 제공합니다. 이 데이터셋을 통해 기계 번역 시스템은 더 높은 품질의 번역 결과를 제공할 수 있습니다.

4. 대화 관련 작업 (Dialogue)

4.1 Persona-grounded Dialogue

Persona-grounded Dialogue는 대화 참여자의 개인적인 특성, 즉 직업, 성격, 취미 등을 반영하여 대화를 생성하는 작업입니다. 기존의 대화 시스템은 대화의 내용이나 주제만을 고려하는 반면, Persona-grounded Dialogue는 대화 상대의 개인적 정보를 고려하여 더 자연스럽고 인간적인 대화를 가능하게 합니다.

• 대표적인 데이터셋: PersonaChat
  PersonaChat은 각 대화 참여자에게 고유의 "Persona"를 부여하여, 모델이 대화 상대의 성격이나 취향을 반영한 대화를 생성할 수 있도록 돕습니다. 이를 통해 인간과 비슷한 대화 경험을 제공하는 것이 가능합니다.
• 대표적인 데이터셋: BSBT
  BSBT(BotsTalk)는 자동화된 대규모 다기능 대화 데이터셋 수집을 위한 머신 소스 프레임워크입니다. 이 데이터셋은 다양한 대화 기술을 통합하여 대화 시스템이 여러 상황에서 적절한 반응을 생성할 수 있도록 돕습니다. BSBT는 대화의 다양성과 질을 높이는 데 중요한 역할을 하며, 특히 여러 대화 기술을 동시에 테스트하고 평가하는 데 유용합니다.

4.2 설득 대화 (Persuasive Dialogue)

Persuasive Dialogue는 상대방을 설득하기 위한 목적의 대화를 의미합니다. 이러한 대화는 광고, 마케팅, 정치, 교육 등 다양한 분야에서 사용될 수 있으며, 대화 시스템이 상대방을 설득하고 자신의 주장을 전달하기 위해 응답 발화를 생성하는 것이 목표입니다. 설득 대화는 대화 시스템의 상호작용 능력을 높이고, 대화 상대에게 더욱 설득력 있는 정보를 전달하는 데 유용합니다.

• 대표적인 데이터셋: Persuasion for Good (P4G)
  P4G 데이터셋은 주어진 상황에서 대화 모델이 사용자를 설득하는 능력을 평가하기 위한 다양한 작업(Task)을 포함하고 있습니다. 예를 들어, 사용자가 건강 목표를 달성하도록 설득하거나 환경 보호를 위해 재활용을 독려하는 등 여러 설득 작업을 포함합니다. 이 데이터셋은 대화 시스템이 사람들에게 긍정적인 영향을 미칠 수 있도록 설득력 있는 대화를 생성하는 데 도움을 줍니다.

4.3 대화 요약 (Dialogue Summarization)

Dialogue Summarization은 대화의 기록이나 대화 데이터를 요약하는 작업입니다. 이는 긴 대화 내용을 간결하게 정리하여 중요한 정보만을 제공하는 데 목적이 있습니다. 대화 요약 기술은 고객 상담, 의료 기록, 회의록 등 대화의 효율성을 높이고 중요한 내용을 빠르게 파악해야 하는 다양한 분야에서 사용됩니다. 이러한 작업은 대화 데이터를 처리하고 분석하는 데 있어 매우 유용하며, 챗봇의 long-term memory를 향상시키기 위해서도 활용될 수 있습니다.

• 대표적인 데이터셋: DialogSum, SAMSum
  DialogSum 데이터셋은 일상적인 대화 시나리오를 기반으로 하여 대화 내용을 요약하는 데 사용됩니다. SAMSum 데이터셋은 사람에 의해 주석이 달린 대화 데이터셋으로, 추상적인 요약을 위해 사용됩니다. 이러한 데이터셋은 모델이 대화 내용을 효과적으로 요약하고, 중요한 정보를 추출하는 능력을 향상시키는 데 도움을 줍니다.

4.4 지식 기반 대화 (Knowledge-grounded Dialogue)

Knowledge-grounded Dialogue는 외부 지식을 활용하여 대화를 진행하는 작업입니다. 기존의 사전 학습된 모델이 가지고 있는 일반적인 지식 외에도, 대화 중 특정 도메인이나 주제에 관한 추가적인 정보를 바탕으로 대화를 이어나가게 됩니다. 이를 통해 대화의 정확성과 관련성을 높일 수 있으며, 사용자가 질문하는 특정 주제에 대해 더 깊이 있는 답변을 제공할 수 있습니다. Knowledge-grounded Dialogue는 정보 제공형 챗봇, 고객 지원 시스템, 교육용 대화 에이전트 등에 활용될 수 있습니다.

• 대표적인 데이터셋: Wizard of Wikipedia
  Wizard of Wikipedia 데이터셋은 대화 모델이 특정 주제에 대해 심도 있는 대화를 할 수 있도록 위키피디아의 지식을 바탕으로 구축된 데이터셋입니다. 이 데이터셋은 대화 중 다양한 주제에 대한 지식을 참조하여 대화의 질과 정보의 정확성을 향상시키는 데 도움을 줍니다.

• 대표적인 데이터셋: Wizard of Internet
  Wizard of Internet 데이터셋은 인터넷에서 얻은 최신 정보를 바탕으로 대화를 진행하도록 설계된 데이터셋입니다. 이 데이터셋을 사용하여 모델은 최신 뉴스나 트렌드에 대한 정보까지 반영한 대화를 생성할 수 있습니다.

4.5 캐릭터 대화 (Dialogue for Characters)

Dialogue for Characters는 스토리나 특정 컨텍스트 내에서 캐릭터의 특성, 관계, 감정을 반영한 대화를 생성하는 작업입니다. 각 대화 세션에는 캐릭터의 속성이나 그들 간의 관계 같은 풍부한 컨텍스트 정보가 제공되며, 이를 통해 대화 모델은 이야기 속 캐릭터의 성격과 상황에 맞는 대화를 생성할 수 있습니다. 이러한 기술은 소설, 영화, 게임 등의 미디어에서 캐릭터 간의 자연스러운 상호작용을 만들어내는 데 활용됩니다.

• 대표적인 데이터셋: Harry Potter Dialogue (HPD)
  Harry Potter Dialogue 데이터셋은 '해리 포터' 시리즈에 등장하는 캐릭터들 간의 대화를 기반으로 하여 구축되었습니다. 이 데이터셋을 통해 모델은 각 캐릭터의 독특한 성격과 대화 스타일을 학습하고, 이야기 속에서 캐릭터들이 자연스럽게 상호작용할 수 있는 대화를 생성할 수 있습니다.

4.6 공감 대화 (Empathetic Dialogue)

Empathetic Dialogue는 대화 상대방의 감정을 인지하고 공감하는 반응을 생성하는 작업입니다. 인간은 일상 대화에서 상대방의 감정을 이해하고 이에 맞게 반응하는 경향이 있으며, 이러한 공감 능력은 대화 시스템에도 중요하게 적용됩니다. 공감 대화 모델은 사용자의 감정을 이해하고 이에 적절하게 반응함으로써 더 나은 상호작용을 제공합니다.

• 대표적인 데이터셋: EmpatheticDialogues
  EmpatheticDialogues 데이터셋은 대화 참여자의 감정 상태에 따라 공감적 반응을 생성하도록 학습된 데이터셋입니다. 이 데이터셋을 사용한 대화 시스템은 더 감정적으로 민감한 반응을 생성할 수 있습니다.

5. 기타 특이한 Task 및 데이터

5.1 ImageNet-X

ImageNet-X는 컴퓨터 비전 분야에서 널리 사용되는 데이터셋인 ImageNet을 확장한 데이터셋으로, 실제 환경에서 발생하는 다양한 왜곡 요소(예: 회전, 크기 변화, 노이즈, 블러 등)를 추가하여 구축되었습니다. 이를 통해 이미지 분류 모델의 강인성과 일반화 능력을 평가할 수 있습니다. ImageNet-X는 이미지 분류 모델이 현실 세계에서 발생하는 다양한 왜곡에 강하게 대처할 수 있는지를 평가하기 위해 사용됩니다.

5.2 Question Generation

Question Generation은 주어진 텍스트와 목표 답변을 바탕으로 유효하고 유창한 질문을 자동으로 생성하는 작업입니다. 이 작업은 특히 교육 분야에서 학생들의 이해도를 높이거나 질문 응답(QA) 시스템에서 사용자와의 상호작용을 풍부하게 만드는 데 중요합니다. Question Generation은 사용자가 텍스트를 더 잘 이해할 수 있도록 돕고, 자연어 이해(NLU) 모델의 성능을 향상시키는 역할도 합니다.

5.3 Document-level Relation Extraction

Document-level Relation Extraction은 문서 전체에서 개체(Entity)와 그들 간의 관계를 추출하는 작업입니다. 예를 들어, 긴 텍스트에서 "Barack Obama was born in Honolulu, Hawaii."라는 문장이 포함되어 있을 때, 이 문장은 "Barack Obama"와 "Honolulu" 간의 관계인 "born in"을 나타냅니다. 문서 수준의 관계 추출은 문장 수준의 관계 추출보다 더 넓은 범위의 정보를 다룰 수 있으며, 의료나 법률과 같은 특정 도메인에서의 관계를 식별하고 지식 그래프를 구축하는 데 유용합니다.

6. 한국어 관련 특이한 작업 및 데이터

6.1 혐오 발언 탐지

한국어에서도 혐오 발언 탐지를 위한 다양한 데이터셋이 존재합니다. 이러한 데이터셋은 한국어로 작성된 혐오 발언을 탐지하여, 인터넷 환경의 안전성을 확보하는 데 기여합니다.

• 대표적인 데이터셋: BEEP!
  BEEP! 데이터셋은 한국어 뉴스 댓글에서 혐오 발언을 탐지하기 위한 데이터셋으로, 온라인 커뮤니티에서의 유해한 발언을 효과적으로 탐지하고 필터링할 수 있도록 돕습니다.

• KOLD: Korean Offensive Language Dataset
  KOLD는 한국어에서의 공격적 언어를 탐지하기 위해 구축된 데이터셋입니다. 이 데이터셋은 다양한 형태의 한국어 공격적 발언을 학습하여 이를 탐지하는 모델을 훈련하는 데 사용됩니다.

• 대표적인 데이터셋: APEACH
  APEACH는 한국어 혐오 발언 탐지를 위한 데이터셋으로, 카카오에서 제공하는 한국어 SNS 데이터에서 수집된 공격적 언어와 혐오 발언을 포함하고 있습니다. 이 데이터셋은 다양한 형태의 한국어 공격적 발언을 학습하여 혐오 발언을 효과적으로 탐지하는 모델을 구축하는 데 사용됩니다.

6.2 고전 한국어 번역 및 이해

한국어 관련 특이한 작업 중 하나로 고전 한국어 문서를 현대 한국어나 영어로 번역하는 작업이 있습니다. 이러한 작업은 역사적 기록을 현대적으로 해석하고 보존하는 데 중요한 역할을 합니다.

• 대표적인 데이터셋: HUE
  HUE는 조선왕조실록과 일성록 같은 고전 문서를 번역하고 해석하기 위한 데이터셋입니다. 이 데이터셋을 사용하여 고전 문서의 내용을 현대적으로 해석하거나 외국어로 번역할 수 있습니다.