[NLP] NLP datasets

GLUE (General Language Understanding Evaluation benchmark)

MNLI (Multi-Genre Natural Language Inference)

• 두 문장의 관계 분류를 위한 데이터셋

QQP (Quora Question Paris)

• 두 질문이 의미상 같은지 다른지 분류를 위한 데이터 셋

SST-2 (The Stanford Sentiment Treebank)

• 영화 리뷰 문장에 관한 감성 분석을 위한 데이터셋

CoLA (The Corpus of Linguistic Acceptability)

• 문법적으로 맞는 문장인지 틀린 문장인지 분류를 위한 데이터셋

STS-B (The semantic Textual Similarity Benchmark)

• 뉴스 헤드라인과 사람이 만든 paraphrasing 문장이 의미상 같은지 비교를 위한 데이터셋

MRPC (Microsoft Research Paraphrase Corpus)

• 뉴스의 내용과 사람이 만든 문장이 의미상 같은 문장인지 비교를 위한 데이터셋

RTE (Recognizing Textual Entailment)

• MNLI와 유사하나 상대적으로 적은 데이터셋

WNLI (Winograd NLI)

• 문장 분류 데이터셋

SQuAD v1.1

• 질의응답 데이터셋

CoNLL 2003

• 개체명 분류(NER) 데이터 셋

SWAG

• Situations With Adversarial Generations, 현재 문장 다음에 이어질 자연스러운 문장을 선택하기 위한 데이터셋

---

KLUE (Korean Language Understandin Evaluation)

한국어 이해 평가를 위한 데이터셋으로 8개의 task로 구성되어 있다.

Topic Classification(ynat)

• 주어진 문장의 주제를 예측

Semantic Textual Similarity(sts)

• 두 문장 사이의 의미적 유사도를 측정

Natural Language Inference(nli)

• 가설과 전제의 관계 추론

Named Entity Recognition(ner)

• 개체명(사람-PS, 위치-LC ...) 인식

Relation Extraction(re)

• text의 entity간의 관계를 식별하고 적절한 관계 선택

Dependency Parsing(dp)

• 단어간의 관계 정보 찾기
• 지배소(의미의 중심), 의존소(지배소가 갖는 의미 보완, 수식)의 관계를 찾음

Machine Reading Comprehension(mrc)

• 질의응답의 한 종류로 적절한 답을 지문에서 찾기

Dialogue State Tracking(dst, wos)

• task 중심 대화 시스템에서 대화 상태 추론하여 사용자의 목적을 추적(slot-value 추출)

• "중국음식을 먹을거고 가격은 크게 상관 없습니다." -> (food="중국음식", price="dontcare")