자연어 딥러닝(RNN)

시퀀스 모델링

텍스트 -> 토큰화(사전) -> ID 시퀀스 -> 임베딩 -> 모델(transfomer 등)-> 출력

Sequential Data (순차 데이터)

• Speech recognition: 파동의 연속 → 단어의 연속으로 변환
  [ 음성 → 문자/단어 (시퀀스 → 시퀀스)]

• Music generation : 연속된 음표 출력
  [ 이전 음표 → 다음 음표 (시퀀스 → 시퀀스 생성)]

• Sentiment classification: Text
  [ 평점, 부정/긍정 판단 ( 문장 → 긍/부정, 평점 (시퀀스 → 단일 값))]

• DNA 분석 : 염기서열 → 질병유무, 단백질 종류 등 (ChatGPT/생성 모델까지)
  [ (염기 서열 → 질병/기능(시퀀스 → 분류/예측) ]

• 자동 번역: 한국어 → 영어
  [ 한국어 문장 → 영어 문장 ( 시퀀스 → 사퀀스 ) ]

• Video activity recognition: 연속된 장면 → 행동 판단
  [ 프레임을 연속 → 행동 라벨 ( 시퀀스 → 분류 ) ]

• Financial Data: 시계열자료 → 주가, 환율 예측 등
  [과거 값 → 미래 값 (시계열 → 예측)]

기본 개념

• 순환 구조 : RNN은 이전의 출력 또는 은닉 상태를 다음 계산에 반영하여 시간에 따른 정보 기억
• 은닉 상태 : 이전 시점의 정보를 현재 시점을 전달
• 시간 전개 : ㅅ퀀스의 길이에 따라 동일 구조 반복되며 각 시점마다 입력과 은닉 상태를 업데이트

특징

• 특화
• 기억능력
• 반복 처리

RNN구현체

• RNN 단순 구조, 기울기 소멸 문제
• LSTM 게이트 구조 추가로 장기 의존성 처리
• GRU : LSTM보다 간단한 구조로 비슷한 성능 제공

입출력 타입

1. ONE TO ONE : 입력 데이터 하나에 출력 데이터 하나 생성 구조
2. ONE TO MANY : 하나의 입력데이터를 기반으로 다수의 출력 시퀀스 생성
3. MANY TO ONE : 여러 입력 시퀀스를 받아 하나의 출력데이터 생성
4. MANY TO MANY (동일 길이) : 입력과 출력 시퀀스의 길이가 동일
5. MANY TO MANY (다른 길이) : 입력과 출력 시퀀스의 길이가 다를 수 있는 구조