📢 트랜스포머에 대한 간단한 내용입니다.

트랜스포머

• 딥러닝 기반의 자연어 처리(NLP) 모델
• 기존의 RNN 을 활용한 모델은 Sequential 한 속성 때문에 연산의 시간이 많이 걸린다는 단점이 있음
• attention 이 RNN 을 대체하는 방향으로 제시된 모델
• 트랜스포머는 2017년 구글이 발표한 논문인 ‘attention is all you need.’ 에서 제시된 모델로 attention 만으로 구현
• 번역 성능에서 RNN 보다 우수한 성능을 보여줌
• 자연어 처리에 많이 사용되는 모델: BERT, GPT (트랜스포머가 근간)

그럼 어떻게 시퀀셜 데이터를 가볍게 연산하게 만들까?

• 말뭉치를 줄세우는게 아니라 한 번에 넣음!
• 시계열 데이터는 순서가 중요하다!
  • 원래는 순서대로 넣어줬는데
  • 트랜스포머는 “순서 정보(위치 값)”를 같이 넣어준다! (positional encoding)
  • 그래서 한 번에 넣을 수 있다!