자연어 처리 분야에 입문을 하면 가장 많이 사용하게 되는 라이브러리 중 하나는 Huggingface이다. Huggingface에는 다양한 거대 언어모델들의 구조가 구현되어 있고, 사전학습된 가중치들이 업로드 되어있어 편리하게 거대언어모델들을 사용할 수 있게 해준다.
이전에 살펴보았던 BertEmbedding Layer의 출력을 가지고, N개의 transformer 인코더 구조를 통과시키는 BertEncoder 모듈에 대해서 살펴보겠습니다.