1106 실습 (RNN)

머신러닝에서는 BOW, TF-IDF 인코딩 방식을 주로 사용하고 딥러닝에서도 사용하기도 합니다.
RNN에서는 순차적으로 데이터를 인코딩해주는 시퀀스인코딩 방식을 사용하면 좀 더 나은 성능을 내기도 합니다.

📌 RNN

: 순서가 있는 시계열 데이터에 사용

• 층을 깊게 쌓지 않음

RNN Explanier
RNN의 시각화 설명이 잘 되어 있는 블로그

셀(cell): RNN의 은닉층에서 활성화 함수를 통해 결과를 내보내는 역할을 하는 노드(RNN의 반복 단위, 개별)
메모리셀(memory cell): 이전의 값을 기억하는 일종의 메모리 역할을 수행하는 셀(전체, RNNcell이라고도 함)
은닉상태(hidden state): 은닉층의 메모리 셀에서 나온 값이 출력층 방향 또는 다음 시점의 자신(다음 메모리 셀)에게 보내는 상태

• RNN은 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 출력층 방향으로도 보내면서,
  다시 은닉층 노드의 다음 계산의 입력으로 보내는 특징
  다양한 길이의 입력 시퀀스를 처리할 수 있는 인공 신경망
• 타임스텝(timesteps): 입력 시퀀스의 길이(input_length)라고 표현하기도 함. 시점의 수
• 순환네트워크에서는 은닉층이 입력층과 이전 타임스텝의 은닉층으로부터 정보를 받음
• 인접한 타임 스텝의 정보가 은닉층에 흐르기 때문에 이전 이벤트를 기억가능(신경망 내부의 메모리를 활용)

✅ BPTT (BackPropagation Through Time), RNN의 역전파

• 기울기는 오차의 변화에 대한 가중치의 변화이기 때문에 모델에 맞는 역전파 방법으로 기울기를 찾아야 성능을 높일 수 있음
• 다른 신경망과 마찬가지로 RNN 역시 경사 하강법(Gradient Descent)과 오차 역전파(backpropagation)를 이용해 학습
• 정확하게는 시간 흐름에 따른 작업을 하기 때문에 역전파를 확장한 BPTT(Back-Propagation Through Time)를 사용해서 학습

✅ RNN의 한계점: 기울기 소실

:복잡한 연산으로 인한 기울기 문제 발생
=> 아주 오래 전에 들어온 데이터를 기억하지 못하는 문제가 발생

💡 문제점: 기울기 소실 또는 폭발 문제(Vanishing-Exploding Gradient Problem)

• 시간을 통한 역전파( Backpropagation Through Time)의 프로세스는 일반 역전파보다 훨씬 더 많은 곱셈과 연산을 도입

💡해결책: Truncated-Backpropagation Through Time(생략된 BPTT, 현재 time step에서 5 time step 이전까지 확인)

📌 RNN의 기울기 소실 문제를 해결하기 위한 방법

✅ LSTM (Long Short-Term Memory)

: 순환 신경망(RNN) 기법의 하나

• 메모리 셀, 입력 게이트, 출력 게이트, 망각 게이트를 이용해 기존 순환 신경망(RNN)의 문제인 기울기 소실 문제를 방지
• LSTM알고리즘은 Cell State라고 불리는 특징층을 하나 더 넣어 Weight를 계속 기억할 것인지 결정
• 셀 상태(Cell state)는 정보를 추가하거나 삭제하는 기능을 담당 >> LSTM은 과거의 데이터를 계속해서 업데이트
• 기존 RNN의 경우, 정보와 정보사이의 거리가 멀면, 초기의 Weight값이 유지되지 않아 학습능력이 저하

💡 장점:

• 각각의 메모리 컨트롤 가능
• 결과값 컨트롤 가능

💡 단점:

• 메모리가 덮어씌워 질 가능성
• 연산속도가 느림

✅ GRU (Gated Recurrent Units)

: LSTM을 변형시킨 알고리즘으로, Gradient Vanishing의 문제를 해결

• LSTM은 초기의 weight가 계속 지속적으로 업데이트되었지만, GRUs는
  Update Gate와 Reset Gate를 추가하여, 과거의 정보를 어떻게 반영할 것인지
  결정(GRU는 게이트가 2개, LSTM은 3개)
• Update Gate는 과거의 상태를 반영하는 Gate이며, Reset Gate는 현 시점 정보와 과거 시점 정보의 반영 여부를 결정

💡 장점:

• 연산속도가 빠름
• LSTM처럼 덮어씌워 질 가능성이 없음

💡 단점:

• 메모리와 결과값 컨트롤 불가

💡 기존의 RNN층을 LSTM 또는 GRU로 이름만 변경하면 됨.
GRU보다는 LSTM이 더 많이 사용됨.

📌 Modelling

• Keras의 세 개의 내장 RNN
  • keras.layers.SimpleRNN: 이전 타임스텝의 출력이 다음 타임스텝으로 공급되는 완전히 연결된 RNN입니다.
  • keras.layers.GRU
  • keras.layers.LSTM

• 내장 RNN의 주요 기능
  • dropout 및 recurrent_dropout 인수를 통한 반복 드롭아웃
  • go_backwards 인수를 통해 입력 시퀀스를 반대로 처리할 수 있음
  • unroll 인수를 통한 루프 언롤링(CPU에서 짧은 시퀀스를 처리할 때 속도가 크게 향상될 수 있음)

출처: https://www.tensorflow.org/text/tutorials/text_classification_rnn

✅ TextVectorization (인코딩), 1차원

VOCAB_SIZE = 1000
encoder = tf.keras.layers.TextVectorization(
    max_tokens=VOCAB_SIZE)
encoder.adapt(train_dataset.map(lambda text, label: text))

💡 adapt() == fit_transform()

✅ Embedding (다차원으로 단어의 유사도에 따른 거리 계산)

: 단어 임베딩은 유사한 단어가 유사한 인코딩을 갖는 효율적이고 조밀한 표현을 사용하는 방법을 제공합니다.

• 중요한 것은 이 인코딩을 직접 지정할 필요가 없다는 것입니다. 임베딩은 부동 소수점 값의 조밀한 벡터입니다(벡터의 길이는 사용자가 지정하는 매개변수).

출처: https://www.tensorflow.org/text/guide/word_embeddings

Embedding(vocab_size, embedding_dim)

• Embedding layer: 문자열 데이터를 숫자형으로만 바꿔 넣으면 단어 사이의 유사도를 파악하기 어려워 숫자형을 벡터형으로 변환해주는 작업이 필요합니다. 모델 구성층 중 각 단어의 유사도를 계산하여 주어진 배열을 정해진 길이로 압축해주는 층
• Embedding layer을 통해 출력된 임베딩 벡터의 최종 차원은 (batch_size, vocab_size, embedding_dim)이 됩니다.

✅ Bidirectional (양방향 학습)

: 순차 RNN 학습 방향에는 한계가 있기 때문에 양방향의 학습을 통해서 해결하는 기법입니다.

• simpleRNN
• LSTM
• GRU

순차 RNN으로만 하면 날이, 너무만 보고 날씨의 상태를 파악해야하지만 양방향 학습을 이용하면 켰다, 에어컨을 보고 날씨의 상태를 더 잘 유추할 수 있습니다

💡 validation_split 을 사용하면 성능이 잘 안 나옵니다. 그런데 train_test_split 으로 train 을 train, valid로 나눠준 데이터를 사용하면 좀 더 나은 성능을 냅니다.

🤔 왜 일까요?
stratify 유무의 차이 (class가 균일하게 학습되지 않는 문제 발생)

# Simple RNN 레이어를 사용한 모델을 정의합니다.
model = Sequential()

# 입력-임베딩층
model.add(Embedding(input_dim=vocab_size, output_dim=embedding_dim, 
                    name="embedding", input_length=max_length))
model.add(SimpleRNN(units=32, return_sequences=True))
model.add(SimpleRNN(units=32))

# 출력층
model.add(Dense(units=n_class, activation="softmax"))

return_sequences=True는 Dense layer와 출력층에는 사용하지 않는다.

🖇 SUMMARY

💡 텍스트 데이터 벡터화 하는 방법

• 토큰화(str.split()) => one-hot-encoding => bag of words(min_df, max_df, analyzer, stopwords, n-gram)
  => TF-IDF(너무 자주 등장하는 단어는 낮은 가중치, 특정 문서에만 자주 등장하는 단어는 높은 가중치)
• RNN 은 순서가 있는 데이터를 예측할 때 주로 사용하는데 BOW 순서를 보존하지 않습니다. 그래서 시퀀스 방식의 인코딩을 사용했습니다.
• Embedding => 여러 각도에서 단어와 단어 사이의 거리를 봅니다. 가까운 거리에 있는 단어는 유사한 단어이고 거리가 멀 수록 의미가 먼 단어 입니다.
  => 의미를 좀 더 보존할 수 있게 되었습니다.

💡 텍스트 데이터 전처리 방법

• 정규표현식 => 텍스트 정규화
• 불용어 => 나, 너, 그것, 이것, 저것 처럼 자주 등장하지만 큰 의미를 갖지 않는 단어 제외
• 형태소 분석 => 의미가 없는 조사, 어미, 구두점 등을 제외
• 어간추출(stemming 원형을 보존하지 않음), 표제어표기법(lemmatization, 원형을 보존)

💡 RNN

• time-step 을 갖는 데이터에 주로 사용, 예) 자연어(챗봇), 음성, 시계열데이터(주가 데이터), 심전도 데이터
• RNN, LSTM, GRU
• BPTT

💡
콜백(callback) 중 조기종료(early stopping)은 신경망의 과대적합을 회피하도록 만드는 정규화(regularization) 기법 중 하나입니다.

---

✅ GPU에 연결이 되어있는지 확인하기 위한 코드

gpu_info = !nvidia-smi
gpu_info = '\n'.join(gpu_info)
if gpu_info.find('failed') >= 0:
    print('Not connected to a GPU')
else:
    print(gpu_info)

---

🙋🏻‍♀️ 질문

Q: 출력값이 어떤 형태로 나올까요?

A: 0~1 사이의 확률값

---

🦁 질문

Q: Bidirectional 과정에서 차원축소 기능이 있나요?
A: Bidirectional에는 차원축소 기능이 따로 있지 않다.

---

✏️ TIL

• 사실(Fact): RNN, LSTM과 GRU를 이용해 자연어 처리하는 방법에 대해 배웠다.
• 느낌(Feeling): 오늘도 어렵다.
• 교훈(Finding): 이번주 내용 완벽 복습해서 미니프로젝트 잘 하자!