Exploration4 를 진행하며 정리한 것들
시퀀스(Sequence) 자료형
- 파이썬에선 값이 연속적으로 이어진 자료형들을 총칭한다.
- 리스트, 튜플, 세트, 딕셔너리 등
순환신경망 (RNN)
- 입력과 출력을 시퀀스 단위로 처리하는 인공 신경망 시퀀스 모델이다.
- 번역기를 예시로 들 때, 입력은 번역하고자 하는 단어의 시퀀스인 문장이고, 출력은 번역된 단어들이 연결되어 있는 시퀀스 문장이다.
- RNN은 그러한 시퀀스 모델 중 가장 기본적인 인공신경망 시퀀스 모델이다.
<순환 신경망의 작동방법을 가장 단순하게 표현한 예시>
언어모델
- n-1개의 단어 시퀀스 w1, w2, ..., w(n-1)d이 주어졌을 때, n번째 단어 wn으로 무엇이 올지 예측하는 확률모델을 언어모델(Language Model)이라고 부른다.
- 모든 종류의 텍스트가 언어 모델의 학습 데이터가 될 수 있기 때문에 데이터셋은 무궁무진하다.
- 이런 언어 모델에게 일정한 단어 시퀀스가 주어졌을 때, 다음 단어, 그 다음 단어를 계속해서 예측해 내고 그것을 기록한다면, 텍스트 생성뿐만 아니라 작문까지 가능하다. 잘 학습된 언어 모델은 훌륭한 문장 생성기로 동작하고, 가사를 작사하는 등의 고차원적인 작문까지 가능할 것이다.
