[잡생각] Transformer 모델 공부

NLP쪽도 공부해보고 싶어서 Transformer 모델 공부를 해야 하는데..
저번 겨울방학때 하다가 정확히 transformer의 구조까지만 공부하고 말았었다.

이 우왁스러운 것을...보고 잠깐 주춤....

하지만 공부하려면 대충... 이런 것들은 해봐야 할 것 같아서 적어놓는다.
저의 To-do list 같은 것입니다

1. Attention is All You Need 정독

Transformer의 핵심을 알고가려면... 이것이 꼭 필요한 절차다.
인공지능 전공생이라면.. 알아야 하지 않는지.. 마치 YOLO 시리즈를 정독하듯... (했나요?)
조만간 꼭 읽어보자!
그래도 다 알고나면 속이 후련하지 않겠냐!!

2. Transformer scratch 구현

encoder+decoder+multi-head attention 어떻게 생겼는지 정도는 알아야 하지 않는지.
언제까지 아무것도 모른채 hugging face에 의존하고... openAI에 의존할 수는 없지....
그래야 text-to-text, seq-to-seq 이런 것들에 대한 감도 잡을 수 있을 것이라 생각한다.

아래 자연어처리 딥러닝 바이블을 참고해서 한번 찐하게... 알아가보자😋

• BERT scratch 구현하기
• GPT2 scratch 구현하기
• T5 scratch 구현하기
  

나에게 하는 말