[Day 11]

2021 부스트캠프 Day11

[Day 11] 딥러닝 기초

Mathematics for Artificial Intelligence : 베이즈 통계학 맛보기

조건부 확률

• 베이즈 통계학을 이해하기 위해 조건부확률의 개념을 이해
  
• 베이즈 정리는 조건부 확률을 이용하여 정보를 갱신하는 방법
  

베이즈 정리를 통한 정보의 갱신

• 베이즈 정리를 통해 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산

조건부확률 -> 인과관계?

• 조건부 확률은 유용한 통계적 해석을 제공하지만 인과관계(causality)를 추론할때 함부로 사용해서는 안된다.
• 인과관계는 데이터 분포의 변화에 강건한 예측모형을 만들 때 필요
• 인과관계를 알아내기 위해서는 중첩요인(confounding factor)의 효과를 제거하고 원인에 해당하는 변수만의 인과관계를 계산

Deep Learning Basic : Historical Review

• 딥러닝 분야에서 중요한 기술 3가지 : 구현실력, 수학적 기술, 현재 논문들의 연구결과 분석
• 딥러닝에 대해 연구하는 것이 AI의 전체에 대한 연구는 아니다.
  

Key Components of Deep Learning

• 모델 학습을 위한 데이터
• 데이터를 기반으로 학습하고자 하는 모델
• 모델을 학습시키기 위한 loss function
• loss function을 최소화하기 위한 알고리즘

Data

• 어느 문제를 풀어야하나에 대해 의존된다.
  (ex. classification, semantic segmentation, detection, pose estimation, visual QnA)

Model

• 결국은 이미지, 텍스트가 주어졌을때 내가 알고싶어하는 방향으로 바꿔주는 것
  (ex. AlexNet, GoogLeNet, ResNet, DenseNet, LSTM, DeepAutoEncoders, GAN ...)

Loss

• 우리의 목적에 따라 근사치가 되는 loss function을 정의
  (ex. MSE(Regression Task), CE(Classification Task), MLE(Probabilistic Task)(=MSE) ...)

Optimization Algorithm

• 네트워크를 어떻게 줄일지에 대한 알고리즘
  (ex. SGD, Momentum, NAG, Adagard, Adadelta, Rmsprop, Adam, ...)

Historical Review

• 2012 : AlexNet
• 2013 : DQN
• 2014 : Encoder / Decoder
• 2014 : Adam Optimizer
• 2015 : Generative Adversarial Network
• 2015 : Residual Networks
• 2017 : Transformer
• 2018 : BERT(fine-tuned NLP models)
• 2019 : BIG Language Models(GPT-X)
• 2020 : Self Superviese Learning

Pytorch Basics

pytorch

• Numpy 구조를 가지는 Tensor 객체로 array 표현
• 자동미분을 지원하여 DL연산을 지원
• 다양한 형태의 DL을 지원하는 함수와 모델을 지원함

Deep Learning Basic : Neural Networks & Multi-Layer Perceptron

Neural Networks

• 신경망은 컴퓨팅 시스템에서 동물 뇌를 구성하는 생물학적 신경망
• Neural networks are function approximators that stack affine transformations followed by nonlinear transformations.

Multi-layer-perceptron