MS AI School Day 38

• <남명진 선생님> 자연어 처리 특강

1. 자연어

2. RNN

3. Deep RNN

4. Seq2sq
   1) 인코더
   2) 디코더 (순차적 토큰 예측)

5. Transformer (2017~)
   "Attention is all you need."

** 토큰 (단어)
input - 벡터
변환 과정 (input Embadding)

6. Self Attention (e.g., GPT)

7. GPT vs BERT vs T5
   인코더
   디코더
   둘다

1) GPT : MLM
(다음토큰 잘 예측할 수 있도록 훈련)
2) BERT : Pre-Training vision등에서 사용.
레이블 되어있지 않은것. (e.g., 말뭉치, 크롤링) Pre-Training
이후 레이블된거로 Fine-tuning

3) T5

** Fine-tuning

• <이재희 선생님> MS 현직자 특강

• <현유나 선생님> MS 현직자 특강

• <대한상공회의소> 2023 미래산업 인재육성 컨퍼런스

• PM/PO 분야 현직자 멘토링

• 대한상공회의소 안내