[Aiffel] 아이펠 71일차 개념 정리 및 회고

Gongsam·2022년 4월 18일
0

1. 개념 정리

1) NLP framework

  1. 프로젝트의 뼈대를 이루는 클래스와 인터페이스의 집합
  2. NLP framework
  • 논문 상의 리서치 코드를 미리 구현해 pretrained model을 제공하고 있음
  • finetuning 가능
  • 태스크, 데이터 셋, 모델과 무관한 통일된 인터페이스를 기반으로 설계된 클래스 구조를 지님: 최소한의 코드 구현으로 다양한 변화에 대응 가능

2) Framework

  • General Framework
Framework기반설명
AllenNLP파이토치- PyTorch 기반
- torch.nn.Module을 상속받는 구조이기 때문에 Tensorflow, Keras 기반으로 사용하기 어려움
Fairseq파이토치- Facebook AI Research의 NLP Framework
- CNN, LSTM, sequenctial 데이터를 다루는 분야 등 다양한 pretained model을 함께 제공함
Fast.aiPyTorch- 하이레벨 API, application 블록까지 쉽게 사용 가능
- NLP 외의 분야로도 확장 가능
tensor2tensortensorflow- google brain에서 transformer 논문을 발표하면서 구현체로 함께 공유했던 프로젝트
  • 전처리 프레임워크
  1. Spacy
  2. NLTK
  3. TorchText
  4. KoNLPy
  • Transformer-based Framework
    Huggingface transformers

3) Huggingface transformers

  1. 광범위, 신속
  2. PyTorch, Tensorflow 모두에서 사용 가능
  3. 모델
    구조가 동일한 모델이어도 tokenizer가 다르거나 tokenizer 내의 dictionary가 다르면 사실상 다른 모델이 됨

2. 회고

벌써 고잉 디퍼도 마지막 날이다. 아이펠도 끝이 다가오고 있다는 뜻인데 나는 아이펠이 끝날 때 뭘 얻을 수 있을지 생각을 해봐야할 거 같다. 머신러닝에 필요한 개념은 그나마 대충이라도 스스로 정리할 수 있을 거 같은데 NLP 모델은 안될 거 같다. 해커톤도 걱정인데 잘 마무리만 되었으면 좋겠다.

profile
🐬 파이썬 / 인공지능 / 머신러닝

0개의 댓글