Transformer_encoder 구현

🔴 Transformer encoder 구현

• 트렌스포머 인코더는 앞으로, 멀티모달을 사용할 때, 자주 사용할 예정임
• 특히, 인코더의 multi-head anttention 부분에서 Q, K, V 값을 교차로 하는 다양한 방법을 구현하려면, 기본 트렌스포머 인코더를 먼저 구현해봐야할 것 같다는 생각에 아래의 코드를 참고하여 공부하고자 함
  ⭐ [Transformer Encoder] https://github.com/guocheng2018/Transformer-Encoder
• 트렌스포머 아키텍처
  
• 구현하고자 하는 cross-modal distillation (CMD) 아키텍처
  : Audio teacher 모델 --> Wav2vec2.0/ Text teacher 모델 --> BERT 사용
  
• BERT는 일반 NLP모델에서 잘 작동하지만, Bio, Science, Finace 등 특정 분야의 언어모델에 사용하려면 잘 적용되지 않음 (사용 단어들이 다르고 언어의 특성이 다르기 때문)
• BERT를 적용하려면...한국어 데이터 수집 및 언어모델 학습을 추가적으로 진행해야 함 (즉, BERT모델을 파인튜닝해야 한다는 의미)