🎯 졸작 준비자료

슬램덩크 블로그 https://the-underdogs.kr/mkt-mbtitest-1/

KNNDecision TreeRandom ForestNaive BayesSVM(Support Vector Machine)설명 참고 : https://nittaku.tistory.com/286모델사용하기 : https://nittaku.tistory.c

ㅇㅇ

1) 벡터 크기는 300 그리고 윈도 크기는 5~7 사이가 적절하며, 최소 출현빈도 제한은 말뭉치 크기에 따라 적절히 큰 값으로 설정하는 것이 좋다2) 조사와 어미 같은 문법 형태소를 학습에서 제외시키면 주제분류 같은 NLP에는 적합할수도.하지만, 감성 분류에 적용한다

사전 훈련된 Word2Vec 모델 불러오기여러 오픈 소스 플랫폼에서 다양한 언어와 도메인에 대한 사전 훈련된 Word2Vec 임베딩을 찾을 수 있습니다. 이 임베딩을 불러옵니다.임베딩 층 초기화신경망 모델의 첫 번째 층으로 임베딩 층을 추가합니다. 이 층의 가중치를 사

train data는 모두 extract word로 이루어져 있음(명사, 동사, 형용사 등)아무리 많은 문장들이 학습되어도 extract word에 대해서만 학습하기 때문에,결국엔 비슷한 단어들끼리 학습을 하는 것이 됨!ex 1) 사람들, 사람 -> "사람"ex 2)

Q. 근데 워드 임베딩 모델은 lstm->bi-lstm->transformer 모델로 가기까지의 아주 예전에 단어를 학습하는 방법이엇던거지? 최근에 트랜스포머모델로 와서 거의 쓰이지 않게 된것이고.맞습니다. 워드 임베딩 방법론들 (예: Word2Vec, FastText

트랜스포머 모델은 주로 자연어 처리 분야에서 높은 성능을 보이는 모델 중 하나로, 특히 긴 거리의 의존성을 잘 처리하게 설계되어 있습니다. 그러나 OOV (Out-of-Vocabulary) 문제에 대한 처리는 트랜스포머의 구조 자체와는 별개의 문제입니다.OOV 문제는

트랜스포머를 기반으로 하는 다양한 모델과 학습 스크립트를 구현해 놓은 모듈토큰화 WordPiece : 단어를 여러개의 서브워드나 문자로 분리하는 방식(일반적인 형태소 분석, 토큰화와는 다른 방식)BertTokenizer 사용특별 토큰 추가 : BERT는 시작과 끝에 \

이번 졸작에서 사용한 기법!: 구글에서 제공하는 비지도학습 기반의 토크나이저/ 텍스트를 서브워드 또는 문자 수준으로 분해하는 것/ 1. 작동방식(BPE, Unigram) 둘 모두 지원BPE(Byte-Pair Encoding): 우선 모든 단어를 문자(cahracter)