쉽게 이해되는 자연어 처리
1.자연어 처리 Intro
자연어 처리의 기원, 컴퓨터가 어떻게 자연어를 이해하는 지에 대한 원리와 실습 코드 등이 있습니다.
2.LLM 시작과 끝, 프롬프트 엔지니어링
프롬프트 엔지니어링이란?! 말은 거창하지만 ChatGPT에 최대 성능을 끌어내기 위해 다양한 대사로 말을 거는 것이다. 프롬프트 예시 링크 이런 프롬프트 질문지는 온라인 ai교육 사이트 수강 사은품으로 제공하는 등 유료 버전도 있고 자동으로 생성해주는 사이트도 있고
3.[NLP] 텍스트 전처리(CBOW, Skip-gram)
목차 Review(one-hot vector, embedding) 추론 기반 기법(word2vec) CBOW의 작동 방식 Skip-gram의 작동 방식
4.[NLP] SVD로 희소 행렬 압축하기
목차 동시발생행렬과 PPMI 차원 축소 Orthogonal Matrix Support Vector Machine Principal Component Analysis SVD로 단어 벡터 차원 축소 말뭉치에 적용 PTB 데이터셋에 적용
5.[NLP] Embedding Dot으로 대용량 텍스트 CBOW
목차 word2vec의 문제점 Embedding 층 다중분류에서 이진분류로 Embedding dot 층
6.[NLP] Sigmoid with Loss 층과 Negative Sampling
목차 1. Embedding dot 층 2. Sigmoid with Loss 3. Negative Sampling
7.[NLP] queen - women = king - men
목차 1. 완전판 CBOW 2. king - men = queen - women
8.순환 신경망 (RNN)
CBOW를 변형한 언어 모델 \n 언어 모델\nCBOW 모델을 변형한 언어 모델의 문제점\nRecurrent Nerual Network\nRNN의 활성화 함수
9.RNN 코드
목차 삼각함수 공식 증명 RNN 개념 RNN 코드 TruncatedRNN 개념 & 코드 RNN > RNN을 구현하는 클래스이다. init()함수는 Wx, Wh, b를 인자로 입력 받는다. Wx: 입력벡터의 가중치 행렬 Wh: 은닉벡터의 가중치 행렬 b: 편향(입력벡
10.RNNLM
가장 중요한 핵심 단어는?RNNLM(Recursive-Neural-Network Language Model)은 언어모델이다.'언어 모델'은 입력 단어의 다음에 어떤 단어가 올 지 예측하는 모델이다.다음 단어가 올 지 예측하기 위해서는 이전 문맥이 중요하다. 하나의 단어