Classical vs Deep Learning Models

Plan of Attack

• Types of NLP

• Classical vs Deep learning Models

• End-to-end Deep Learning Models (종단간 이점)

• Bag of Words (자연어처리 모델, 두 가지 변형 사례, Seq2Seq 이 진보) (다음에 부록 2개 듣고 돌아옴)

• Seq2Seq Architecture (실제 구현)

• Seq2Seq Training

• Beam Search Decoding

• Attention Mecahnism (장기 메모리 도움)

• 1. ANNs
• 2. RNNs

Types of NLP

-Deep NLP 가 겹치는 부분!

• Seq2Seq 는 DNLP 의 또다른 한 분야, 강력한 모델 중 하나이다.
• 다양한 모델을 Application 가능하다.

Classical vs Deep Learning Models

몇가지 예들

1. If / Else Rules (Chatbot)

• if/else 규칙은 위의 사진 중 오직 NLP 에만 속하는 고전적인 분야이다.
  가능한 질문과 질문에 대한 답변을 포함한다. (만약 이런 질문을 하면 이렇게 대답해라)
• 현실에서의 표현을 반영하지 못한다 (정확한 답변이 어렵다)

2. Audio frequency components analysis (Speech Recognition)

• NLP에 해당
• 음성인식에 적용 (딥러닝은 사용하지 않음)
• 말에 어떤 파형이 존재하는지 확인
• 주파수 구성을 살핀 다음 미리 녹음한 주파수랑 비교, 특정 조합이 특정 단어를 의미한다는 가정 하에 찾음.
• 신경 계산, 신경망 생성은 없음
• JUST frequency 계산

3. Bag-of-words model (Classification)

• 분류를 위해 사용
• NLP에 해당
  
• 단어 가방, 모든 코멘트의 단어를 가방에 기록하고 Great 과 1, 0의 빈도를 분석한다
• 단어와 긍정, 분류의 분류를 연관시키는 것!
• 합격 여부를 모르더라도 코멘트의 단어를 보고 여부를 결정한다

4. CNN for text Recognition (Classification)

• DNLP 모델에 포함
• 텍스트 인식을 위한 합성곱 신경망
• 합성곱 신경망은 주로 영상, 이미지 인식에 사용 (자율주행 자동차)
  
• 단어를 행렬로 변환, 워드 임베딩, 이미지 처리, 샘플 추출하여 이미지 평면화, 예측 수행

5. Seq2Seq many application)