NLP

Language model 이란 text generate 를 위한 modeling 이다.Language model 자체를 input, output, task 으로 나눌 수 있는데, 이 경우 output 은 항상 text 일 것이다.conditional language

Transformer 은 attention 연산만 사용하여 seq2seq 구조를 구현하는 방법이다.self attention 과 attention 의 차이점attention 의 경우, output 문장과 관련된 input 문장과의 연관성을 측정한다. seq2seq 모델