U_Week_5_Day_23

피어세션 정리

• 트랜스포머의 디코더는 rnn처럼 순차적으로 진행되나요?

  • 트랜스포머의 인코더는 병렬적으로 처리되지만 디코더는 원리상 이전 단계의 출력에 의존하기 때문에 순차적으로 진행되어야한다. 그러나 train단계에서는 teacher forcing을 적용하여 학습하기 때문에 디코더 역시 병렬적으로 수행가능하다. 이때는 뒤에 오는 단어에 대해서는 마스킹해서 학습을 진행해서 뒤에 있는 단어를 참조하는 치팅을 막는다. 그러나 실제 인퍼런스,테스트 단계에서는 하나하나의 단어씩 출력하고 그 단어를 기반으로 다음단계를 출력하기 때문에 순차적으로 이루어진다.

• 허깅페이스

  • 허깅페이스 튜토리얼을 살펴보니 매우 상세하고 친절하게 적혀있어 허깅페이스를 익히기에 매우 좋았다. 허깅페이스는 한줄만 적어도 많은 것을 할 수 있어서 매우 편리하고 쉬운 것 같다는 의견이 많았다. 또 허깅페이스에 있는 기본적인 모델을 바탕으로 파인튜닝을 해봐야하기 때문에 이것도 해보면 좋겠다는 의견이 나와 허깅페이스의 모델을 파인 튜닝하는 실습을 해보기로 했다. 7개니까 한사람당 하나씩 해보기!

• 코드 실습 역할 분담

  1. How to fine-tune a model on text classification(현덕)
  2. How to fine-tune a model on language modeling (영재)
  3. How to fine-tune a model on token classification (민수)
  4. How to fine-tune a model on question answering (재영)
  5. How to fine-tune a model on multiple choice (상하)
  6. How to fine-tune a model on translation (하람)
  7. How to fine-tune a model on summarization (대희)

느낀점

앞으로 huggingface를 많이 이용할텐데, 여태까지 모델을 불러와서 사용만해봤지 많이 활용해보지 못했다. 이번 기회를 시작으로 많이 다뤄보면서 익숙해지자!