Problems with deeper layers

• 네트워크 깊이가 깊을 수록 큰 receptive field와 capacity를 얻을 수 있음
• 하지만 네트워크 깊이가 깊을 수록 gradient vanishing, exploding, degrdation 문제가 발생함

CNN models

• GoogLeNet
  • inception module
  • Auxiliary classifiers
• ResNet
• DenseNet
• SENet
• EfficientNet
• Deformable convolution

Intro to NLP, Bag-of-Words

• 자연어 처리/ 자연어 생성으로 분류 가능하며, 비전과 더불어 딥러닝 연구가 가장 활발한 분야

Natural language processing (major conferences: ACL, EMNLP, NAACL)

• Low-level parsing
  • tokenization, stemming
• word and phrase level
  • Named entity recognition, part os speech(POS) tagging, noun-phrase chunking, dependency parsing, conference resolution
• sentence level
  • sentiment analysis, machine translation
• Multi sentence and paragraph level
  • entailment prediction, question answering, dialog systems, summarizatio

Text mining

• Extract useful information and insights from text and document data
• document clustering
• highly related to computational social science

information retrieval(정보검색)

• highly rated to computational social science

자연어 처리 트렌드

• 자연어는 그냥 처리하지 않고 embedding 하여 처리함
• 자연어는 sequence data이기 때문에 RNN-family 계열의 아키텍처를 사용함
• 이후 self-attention이 도입된 transformer가 나오면서 기존 RNN-family 아키텍처를 모두 대체함
• 특정 task를 위한 학습이 아니라 transformer를 계속 쌓아 대규모 general model을 만든 후 transfer learning 하여 사용함

Bag of Words Representation

• 단어를 중복을 제거하여 dictionary 형태로 만든 후, 이를 기반으로 one-hot vector 형태로 가공하여 사용함
• NaiveBayes Classifier에서 사용