부스트캠프 4주차 정리

Tokenization (토크나이제이션)
텍스트 데이터를 작은 단위(토큰)로 분할하는 과정으로, 토큰은 단어, 문자, 혹은 의미를 가지는 문자열의 조각을 의미한다. 예를 들어, "I love NLP"라는 문장은 토큰화 후 ["I", "love", "NLP"]로 나눠지게 된다.
자연어 처리(NLP) 모델이 텍스트 데이터를 더 쉽게 처리하고 이해할 수 있도록 준비하기 위해 사용된다.

Word Embedding (워드 임베딩)
단어를 고정된 크기의 벡터로 변환하는 방법으로, 이 벡터는 단어 간의 의미적 유사성을 유지하도록 훈련된 고차원 공간의 점으로 나타내게 된다.
Word2Vec, GloVe 등이 있으며, 이들은 단어 간의 관계를 벡터 공간에서 수치적으로 표현한다.

RNN, LSTM, GRU (순환 신경망, 장단기 기억 네트워크, 게이트 순환 유닛)

RNN (Recurrent Neural Network)
시퀀스 데이터(예: 텍스트, 음성, 시계열 데이터)를 처리하는 신경망이다.
이전 단계의 출력을 다음 단계의 입력으로 사용하여 순차적 데이터를 모델링한다.

LSTM (Long Short-Term Memory)
RNN의 개선된 버전으로, 긴 시퀀스에서 발생하는 기울기 소실 문제를 해결하기 위해 고안된 구조이다. 기억 셀과 게이트를 사용해 장기 및 단기 기억을 조절한다.

GRU (Gated Recurrent Unit)
LSTM의 단순화된 버전으로, 비슷한 성능을 유지하면서도 계산 비용을 줄이기 위해 설계되었다. LSTM에 비해 게이트가 하나 줄어든 것과, Highway가 도입된 것이 그 특징이라 볼 수 있다.

BPE (Byte-Pair Encoding)
서브워드(subword) 분할을 위한 데이터 압축 알고리즘으로, 가장 빈번하게 발생하는 문자 쌍을 반복적으로 병합하여 단어를 생성한다.
희소한 단어 문제를 해결하고, 드물게 등장하는 단어를 처리할 수 있도록 서브워드 단위로 텍스트를 분할하는 데 주로 사용된다. Transformer 모델에서 자주 사용하게 된다.

Transformer (트랜스포머):
NLP 분야에서 혁신적인 모델로, 기존 RNN이나 LSTM과 달리 유동적인 시퀀스 데이터를 병렬적으로 처리할 수 있다. Attention 메커니즘을 기반으로 하여 문맥 정보를 효율적으로 학습한다.
트랜스포머는 대규모 데이터 학습과 언어 모델링에서 뛰어난 성능을 보여주며, BERT, GPT 등의 최신 언어 모델들이 트랜스포머 구조를 기반으로 하고 있다.