트랜스포머 모델중에 bert는 인코더 부분을 없애고 디코더 부분만을 사용한다고 합니다. 분류문제 등에서 강력한 성능을 발휘합니다.
feature extraction의 방법으로 bert를 제외한 모델만 학습시킬 수도 있고, fine tuning의 방법으로 bert도 파라미터를 새로 학습 시킬 수 있습니다.
단점 : 중간에 있는 단어를 예측하는 방식으로 학습을 했기 때문에 텍스트 생성은 어렵다는 문제가 있습니다.
트랜스포머 모델중에 bert는 인코더 부분을 없애고 디코더 부분만을 사용한다고 합니다. 분류문제 등에서 강력한 성능을 발휘합니다.
feature extraction의 방법으로 bert를 제외한 모델만 학습시킬 수도 있고, fine tuning의 방법으로 bert도 파라미터를 새로 학습 시킬 수 있습니다.
단점 : 중간에 있는 단어를 예측하는 방식으로 학습을 했기 때문에 텍스트 생성은 어렵다는 문제가 있습니다.
