[Week 1-2] NLU task 분석 과제

1. NLU task(Natural Language Understanding)

1-1. Sentiment Analysis(감정 분석)

1-2. Similarity Prediction(유사도 예측)

1-3. Natural Language Inference(자연어 추론)

1-4. Linguistic Acceptability(언어적 용인 가능성)

1-5. Reading Comprehension(기계 독해)

1-6. Intent Classification(의도 분류)

---

2. Sentiment Analysis

• NLU sub task 중 Sentiment Analysis를 선택해 탐구해보고자 한다.

2-1. 문제 정의

• Sentiment Analysis(감정 분석)이란 앞서 Week 1-1 과제로 선택했던 Emotion Classificaion의 상위 task로, 문장의 긍정/부정 혹은 중립을 판단하는 것으로 정의할 수 있다.

• 해당 기술을 통해 소비자 리뷰 분석과 같이 기업의 product에 대한 반응을 분석할 수 있을 것이다.

2-2. data 소개

• Setiment Analysis task에서 대표적으로 사용되는 data는 대부분 GLUE에 소개되어 있다.

• 그 중 SST-2(Stanford Sentiment Treebank) dataset을 분석해보자

• SST-2의 구조는 위와 같이 sentence와 binary label로 구분되어 있다.

  train.tsv
  row : 67,349
  column : sentence, label
  sentence : 영화 리뷰에서 추출한 단일 문장
  label : binary로 표기된 긍정(1)/부정(0) 값

• 단순한 긍정/부정 binary label로 이루어져 있어 학습에 용이해 보인다.

2-3. SOTA models

1) SMART-RoBERTa Large

• 최근 NLP 관련 task에서 가장 잘 활용되는 model을 꼽자면 단연 BERT가 있을 것이다.

• 해당 model 역시 BERT에서 파생된 model이다.

• 해당 model을 소개하는 paper인 'SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized
  Optimization'에 따르면 기존의, pre-trained model의 문제점인 model의 복잡성으로 인한 fine-tunning이 비효율적인 부분과 기존의 data에 overfitting되어 생소한 data에 대한 성능 저하의 부분을 보완한 model이라고 소개한다.

2) T5-3B

• T5(the Text-To-Text Transfer Transformer), 입력과 출력이 text-to-text로 NLP task를 처리하는 model이다.

• 기존의 BERT 파생 model들의 출력값이 클래스명이거나 입력값의 일부였던 것과는 달라 다양한 NLP task에서도 동일한 model, loss function, hyperparmeter을 사용할 수 있다는 장점이 있다.(reference)

• Exploring the Limits of Transfer Learning with a Unified
  Text-to-Text Transformer를 통해 더욱 자세한 내용을 확인할 수 있다.

---

마치며,

1. Week 1-1 과제를 하며 오직 흥미로만 sub task를 골랐던 것이 모두 NLU sub task였다는 것이 신기했다.

2. 지금까지는 막연하게 NLP skill stack을 어떻게 쌓을지를 고민했다면, 이번 기회를 통해 내가 어떤 분야에 확실히 흥미를 가지고 있는지 확인할 수 있었다.

3. 특히 소비자 리뷰 분석과 같이 기업의 product에 대한 결정권에 영향을 줄 수 있는 직무를 구체화해보고자 한다.