[프리온보딩 AI/ML] 1주차 Day 1 과제

1. 본인이 본 강의를 수강하는 목적에 대해서 자유롭게 적어보세요.

• 기업의 실무 과제를 수행하며 기업에 맞게 필요한 task를 학습하고 취업하는 것이 1차 목표이며, 취업까지 연결되지 않더라도 다른 기업의 요구사항에 맞게 스스로 프로젝트를 설계하고 수행하는 능력을 기르며, 근본적인 NLP 지식을 기르는 것이 2차 목표입니다.

2. Paperswithcode(https://paperswithcode.com/area/natural-language-processing)에서 NLP sub task 중에 2개를 선택하여 본인 블로그에 정리해보세요. task 별로 아래 3가지 항목에 대해서 정리하세요. (각 항목 고려 사항 참고)

• 문제 정의
  - task가 해결하고자 하는 문제가 무엇인가?
• 데이터 소개(대표적인 데이터 1개)
  - task를 해결하기 위해 사용할 수 있는데 데이터가 무엇인가?
  - 데이터 구조는 어떻게 생겼는가?
• SOTA 모델 소개(대표적인 모델 1개)
  - task의 SOTA 모델은 무엇인가?
  - 해당 모델 논문의 요약에서 주요 키워드는 무엇인가?

1. Question Answering

• task 이름대로 질문에 대해 적절한 답을 응답하는 것을 의미한다. 넓은 의미에서 검색 엔진에서의 검색과 같이 문서에 질문이 포함되는지를 볼 때의 Question Answering도 가능하고, 문장 독해 후 문맥 상 추론 가능한 내용을 답하는 Question Answering도 가능하다. NLP 연구분야로서의 Question Answering은 후자에 가까운 것 같다.
• 데이터 구조로 SQuAD가 있다. SQuAD는 QA 시스템을 위한 오픈 데이터로서 context와 question, answer를 있다. question 내용이 context 내에 있는 것이 특징이다.
• SOTA 중 하나로 BERT가 있다. 'Bidirectional Encoder Representations from Transformers'의 약자로서, Transformer의 인코더를 쌓아올린 구조를 갖는다. label이 없는 방대한 데이터로 학습을 시키고 fine tuning을 통해 높은 성능을 낼 수 있다.

2. Language modeling

• 문장에서 다음 단어를 예측하는 task를 의미한다. 예를 들어 OCR을 진행한다 가정할 때, 중간에 지워지거나 알아볼 수 없는 글자나 단어가 있을 경우 이를 Language modeling을 통해 예측하여 복원할 수 있다.
• 데이터셋으로 WikiText-103이 있으며, 위키피디아의 잘 정리된 항목들로부터 추출한 1억 개 이상의 token들로 구성되어 있다.
• SOTA 모델로 GPT-3이 있다. GPT-3는 autogressive transformer model로서, GPT-2와 같은 architecture를 사용하는 대신 크기를 키우고, 일정한 패턴을 두고 Attention을 적용하는 Sparse transformer를 사용하였다.