Deep Learning_ 심화

프로젝트 진행 방향

AI, ML , DL 차이

• 머신러닝에서는 특징 추출 후 분류
• 딥러닝에서는 모든 데이터를 넣고 피처+분류

Deep Learning

• Ai - Neural Network (신경망)
• 시그모이드 함수(활성화 계층)의 연속된 층이 있는 알고리즘

Deep learning Step

각 개발 환경과 Framework(Tensorflow, PyTorch) 특징을 파악해서 어떤 것을 써야할지
하이퍼 파리미터 바꿔가며 성능 파악

데이터 셋, 툴 프레임워크 및 기법

Weights & Biases

OR 게이트

XOR 게이트를 구현하기 위해서는 Multi-Perceptron 필요

• Single layer perceptron : Linear Area만 표현가능

• Multi layer perceptron : Non-Linear Area 표현 가능

Feed forword

Activation Function

미니배치 데이터 처리 (Multi Layer)

배치 이미지의 차이는 앞쪽의 숫자

Training Neural Network

Gradient Descent

Affine Layer

행렬을 구하고자 하는 층

forward forward 알고리즘

• 앞쪽으로만 가며 조정을 하는 방식
• 층이 통과할 때마다 맞는지 틀리는지를 확인하여 학습 조정
• 모델 메모리의 할당을 줄일 수 있음

Optimization (모델 최적화)

• epoch
• batch size
• iterations
• SGD (지그재그로 이동하면서 최적의 경로 찾음, 복원추출)
  

• Momentum (원래 이동하던 방향에 대한 관성을 어느정도 반영)

• AdaGrad
  

• RMSProp
  

• Adam
  

• callback
  
  epoch에 10보다 크다면 0.001로 아니면 다른 수치로 학습률을 조정할 수 있음

• Batch Normalization
  
  오버피팅을 줄일 수 있음
  단 배치 노말라이제이션 할 때마다 연산량이 늘어남

• Drop out
  

Optimizer 정리

sequential Model 코드 예시

• 단순한 모델
  

• 순차적이지 않은 조금 복잡한 모델
  

Tensorflow VS PyTorch

• 실용적인 고려 사항 (end 이미지 고려 혹은 연구 목적)
• 모델 가용성
• 배포 인프라
• 에코 시스템 (환경/하드웨어)

• PyTroch가 좀더 대중적으로 사용
• TensorFlow가 에코시스템이 더 뛰어남