자연어처리
1.순환 신경망(RNN, Recurrent Neural Network)
RNN은 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징을 가짐실제로는 편향 $b$도 입력으로 존재할 수 있음셀(cell): 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는
2.RNN 언어 모델(RNNLM, Recurrent Neural Network Language Model)
예문: "what will the fat cat sit on"네번째 시점의 cat은 앞서 나온 what, will, the, fat이라는 시퀀스로 인해 결정된 단어.사실 위 과정은 훈련이 끝난 모델의 테스트 과정 동안(실제 사용할 때)의 이야기훈련 과정에서는 wh
3.Keras SimpleRNN
RNN은 3D 텐서를 입력 받는다고 앞서 말함.따라서 위의 2D 텐서를 batch_size 1을 추가해 3D 텐서로 변경대표적인 인자return_sequences : False인 경우 마지막 시점 은닉 상태만 출력. True인 경우 모든 시점의 은닉 상태 출력retur
4.RNN을 이용한 텍스트 생성(Text Generation using RNN)
다 대 일(many-to-one) 구조의 RNN을 사용하여 문맥을 반영해서 텍스트를 생성하는 모델경마장에 있는 말이 뛰고 있다와 그의 말이 법이다와 가는 말이 고와야 오는 말이 곱다라는 세 가지 문장이 있다고 가정모델이 문맥을 학습할 수 있도록 전체 문장의 앞의 단어들
5.글자 단위 RNN(Char RNN)
단어 단위가 아니라 글자 단위를 입, 출력으로 사용하므로 임베딩층(embedding layer)을 사용하지 않음언어 모델의 훈련 과정과 테스트 과정의 차이 이해에 초점영어가 훈련 데이터일 때 대부분의 경우에서 글자 집합의 크기가 단어 집합을 사용했을 경우보다 집합의 크
6.트랜스포머
트랜스포머2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 이름처럼 어텐션(Attention)만으로 구현한 모델RNN을 사용하지 않고 인코더-디코더 구조를 설계하였음