Transfomer 모델 구조

SON·1일 전
  • 작성이유 : Transfomer 논문을 이해하는 과정에서 x N 이라고 있는데 이 부분에서 레이어가 인인코더와 디코더 레이어가 어떻게 훈련되어가는지 모르겠음

https://github.com/hyunwoongko/transformer/tree/master





질문 : 2번째로 들어갈때도 동일하게 input embeding부터???




질문 : 디코더에 처음은 출력이 없으니까 임의의 값을??? 그리고 훈련시 평가시 달라지는 것?



profile
Like it, and it will be the best.

0개의 댓글