[Aiffel] 아이펠 71일차 개념 정리 및 회고

1. 개념 정리

1) NLP framework

1. 프로젝트의 뼈대를 이루는 클래스와 인터페이스의 집합
2. NLP framework

• 논문 상의 리서치 코드를 미리 구현해 pretrained model을 제공하고 있음
• finetuning 가능
• 태스크, 데이터 셋, 모델과 무관한 통일된 인터페이스를 기반으로 설계된 클래스 구조를 지님: 최소한의 코드 구현으로 다양한 변화에 대응 가능

2) Framework

• General Framework

Framework	기반	설명
AllenNLP	파이토치	- PyTorch 기반 - torch.nn.Module을 상속받는 구조이기 때문에 Tensorflow, Keras 기반으로 사용하기 어려움
Fairseq	파이토치	- Facebook AI Research의 NLP Framework - CNN, LSTM, sequenctial 데이터를 다루는 분야 등 다양한 pretained model을 함께 제공함
Fast.ai	PyTorch	- 하이레벨 API, application 블록까지 쉽게 사용 가능 - NLP 외의 분야로도 확장 가능
tensor2tensor	tensorflow	- google brain에서 transformer 논문을 발표하면서 구현체로 함께 공유했던 프로젝트

• 전처리 프레임워크

1. Spacy
2. NLTK
3. TorchText
4. KoNLPy

• Transformer-based Framework
  Huggingface transformers

3) Huggingface transformers

1. 광범위, 신속
2. PyTorch, Tensorflow 모두에서 사용 가능
3. 모델
   구조가 동일한 모델이어도 tokenizer가 다르거나 tokenizer 내의 dictionary가 다르면 사실상 다른 모델이 됨

2. 회고

벌써 고잉 디퍼도 마지막 날이다. 아이펠도 끝이 다가오고 있다는 뜻인데 나는 아이펠이 끝날 때 뭘 얻을 수 있을지 생각을 해봐야할 거 같다. 머신러닝에 필요한 개념은 그나마 대충이라도 스스로 정리할 수 있을 거 같은데 NLP 모델은 안될 거 같다. 해커톤도 걱정인데 잘 마무리만 되었으면 좋겠다.