# language modeling
총 5개의 포스트
Transformer-xl: Attentive language models beyond a fixed-length context
Extra-Large한 Language Model을 만들어볼까? | 16기 장준원
2022년 4월 23일
·
0개의 댓글
Language Modeling : Generalization, Smoothing, Interpolation, Good-Turing Smoothing, Kneser
N-gram Modeling을 할 때 Count형식으로 확률을 계산하면 거의 0이 나온다. 샤넌 시각화 방법은 우리가 만든 n-gram model에 대해 여러 가지 정보를 제공한다.가령, 셰익스피어를 기반으로 생성된 모델을 살펴보자.문제는, 셰익스 피어 내에 존재하는
2022년 1월 5일
·
0개의 댓글
인라이플배 한국어 AI 언어모델 튜닝대회 참가
아래 인라이플 언어모델 튜팅대회를 위한 설명회가 있다고 해서 참석해 보았다. 이론적으로 버트를 잘 이해했다고 생각해서 짧은 시간에 대회에서 좋을 결과를 얻는 것은 불가능할 거라 생각했다. 그래도 대회보다는 한국어 언어모델에 대한 관심으로 설명회에 참석했다. 솔직히 6월
2020년 6월 21일
·
2개의 댓글