Introduction to Deep Learning

• Andrew said..

  • AI는 Electricity와 같다.

  • 물류, 제조, 헬스, 소통.. etc. 모든 방면에서 새로운 패러다임의 전환을 일으킬 것!

• What you'll learn?!

  1. Neural Networks and DeepLearning
  2. Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization
  3. Structuring your Machine Learning project
     • train/dev/test split, end-to-end
  4. Convolutional Neural Networks
     • CNN
  5. Natural Language Processing: Building sequence models
     • RNN, LSTM

What is a Neural Network?

• ex. 집 가격에 대한 6개의 data를 size에 대한 분포로 만들었다고 가정해보자.

  

• 우리는 할 작업은 다음과 같다.

  • single neuron을 이용하여, size라는 feature에 대한 price 값을 추정할 것이다.
  • 주로 ReLU(Rectified unit)라는 함수를 통해 mapping하는 작업을 거친다.

  

• size 이외에도 # of bedrooms나 zip code와 같은 여러 feature들을 이용해 추정에 활용할 수 있다.

  • feature들 간의 관계를 통해 family size나 school quality와 같은 부가적인 정보를 만들어 낼 수 있고, 이를 바탕으로 최종 price를 추정하는 것이 신경망의 핵심!

  • 사실상 size와 # of bedrooms features를 제외하곤 family size에 영향을 주지 않음에도 불구하고, fully-connected layer를 사용하게 될 것이다.

    • 나중에 dropout으로 이어져 몇 가지 features의 영향을 끄는 작업을 하게 됨!

  

Supervised Learning with Neural Networks

• 우리는 Supervised Learning(지도 학습)으로 다양한 형태의 input에 대해 특정 task를 수행할 수 있다.

  • 크게 Structured 와 Unstructured로 나눈다.
  • Unstructured data는 Image나 Audio와 같은 형태의 data들도 포함한다.
    • 이로 인해 deep learning으로 해결할 수 있는 범위가 매우 넓어졌다고 본다.

  

• 네트워크의 구조에 대한 시각화

  

• 특정 feature에 대해 정제된 틀이 존재한다면 structured / or not Unstructured

  • Unstructured data로 할 수 있는 일은 Speech recognition, Image recognition, natural language processing ... etc.

  

Why is Deep Learning taking off?

• Deep learning이 효과적일 수 있었던 이유는 data의 Scale에 있다.

  • 약 20여년 전부터 SVM이나 Logistic regression과 같은 learning algorithm들이 있었지만, data의 scale이 커지면서 인공신경망이 high level performance를 가졌다.

  

• Algorithm들은 계산 복잡도를 해결하기 위해 변해왔다.

  • ex. Activation) sigmoid -> ReLU

• Neural Network processing은 다음과 같은 cycle로 iterate 되어야 한다!

  • 여러 Idea를 실험하기 위해서는 computation을 줄이는 것이 중요했다.
  • GPU의 발전으로 이러한 점들이 다소 해결되었고, 다양한 Experiment를 하기 위해 아래와 같은 process를 따라야 한다.

  

• 출처: [Coursera] Deep Learing Specialization