BoostCamp_level2_Pstage_KLUE

사람의 생각이나 감정을 표현한 결과물(저작물)에 대하여 창작자에게 주는 권리로 “창작성”이 있다면 별도의 등록절차없이 자연히 발생한다소설ᆞ시ᆞ논문ᆞ강연ᆞ연설ᆞ각본 그 밖의 어문저작물음악저작물연극 및 무용ᆞ무언극 그 밖의 연극저작물회화ᆞ서예ᆞ조각ᆞ판화ᆞ공예ᆞ응용미술저작물

자연어처리 관련 유튜브FastText 설명 youtubeSeq2Seq 설명 동빈나님 youtubeSeq2Seq+Attention 허민석님 youtubeWordSim353Spearman's correlationAnalogy testLongformerLinformerRef

• BooksCorpus (800M words)• English Wikipedia (2,500M words without lists, tables and headers)• 30,000 token vocabulary• WordPiece tokenizing, 빈도수 기반•

Electra 정리

감정분석(Sentiment Analysis)• 문장의 긍정 또는 부정 및 중립 등 성향을 분류하는 프로세스 • 문장을 작성한 사람의 느낌, 감정 등을 분석 할 수 있기 때문에 기업에서 모니터링, 고객지원, 또는 댓글에 대한 필터링 등을 자동화하는 작업에 주로 사용• 활

2주 간의 짧은 Pstage가 끝이 났다. 제공되는 강의나 실습 코드 분량이 꽤 되었기 때문에 아무래도 강의를 충실히 수행해나가기 부담되는 일정이긴 했다. 솔직하게는 후반부에는 강의를 못듣다시피 했다.약 2주, 정확하게는 12일 간의 프로젝트 진행 과정과 내가 했던 노

4\. GPT 언어모델 기반의 자연어 생성

기존의 BERT는 Masking된 단어를 예측하는 방식으로 학습이 이뤄진다. 즉, Bert는 Mask 토큰을 독립적으로 판단하기 때문에 토큰 사이의 관계 자체는 학습하는 것이 불가능하다. 또, Embedding Length의 한계로 Segment간 관계를 학습하는 것이