네이버 부스트코스 <딥러닝 기초다지기> 강의를 참고하여 작성하였습니다.

0. 딥러닝

1. 좋은 딥러닝?

다음 세 가지 실력이 필수적이다.

1) implementation skills : 구현, 실습 실력
-> tensorflow, pytorch

2) math skills : 선형대수, 확률 등 수학 실력

3) knowing a lot of recent papers : 최근 논문을 아는 실력

2. 딥러닝이란?

• 인공지능
  : 사람의 지능을 모방하는 것.
• 머신러닝
  : 자동 분류 알고리즘 모델
• 딥러닝
  : 신경 네트워크를 사용하는 세부적인 분야

3. 딥러닝의 구성요소

• data: 모델이 배울 수 있는 데이터
• model: 데이터를 변형시키는 모델
• loss function: 모델의 성능을 계산하는 함수
• algorithm : loss function을 최소화하는 알고리즘

이 네가지 항목에 비추어 바라보면, 연구가 어떤 장점과 어떤 특징이 있는지 알아보기 쉽다.

Data

• 데이터는 문제 해결의 유형에 의존한다.

예를 들어,
사진이 강아지인지 고양이인지 구분해야 하는 문제에서는 classification을,
이미지의 픽셀별로 구분하는 문제에서는 semantic segmentation,
이미지에 물체를 구분할 때 bounding box를 지정해줘야할 때에는 Detection,
또 Pose Estimation, Visual Q&A, ...이 있다.

Model

• 이미지, 텍스트, 문장 등이 주어졌을 때, 내가 알고싶어하는 유형으로 바꿔주는 역할을 한다.

예를들어
AlexNet, GoogleNet, LSTM, ResNet, DenseNet, Deep Auto Encoders, GAN 등이 있다.

똑같은 데이터여도 모델의 성질에 따라 성능이 다를 수 있다.

Loss

• 모델이 있고, 데이터가 있을 때, 어떻게 모델을 학습할 지에 관련되어있다.
  일반적으로 회귀 문제는 NN의 출력값과 내가 맞추고자 하는 target 차이의 제곱을 최소화하는 것이 목표이다.
  => MSE 사용
  분류 문제에서는 NN의 출력값과 라벨 데이터 사이에 cross entropy를 줄이기 위해
  => CE 사용
  확률 문제에서는 MLE의 관점으로 해결

Loss function은 이루고자 하는 것의 근사치proxy에 불과하다.
어떤 문제를 풀 때 Loss function이 줄어드는 것이 최종 목표가 아니기 때문.

algorithm

• 최적화 방법 = 알고리즘
• 네트워크를 어떻게 줄일지
• First order method
  1차 미분한 정보를 활용한다.

regulizer
학습이 오히려 잘 안되게 하는 것도 추가함 -> loss function을 줄이는게 목적이 아니라, 학습하지 않은 모델에서도 잘 작동하는지가 중요한 것이기 때문.

한번도 보지 못한 실 환경에서도 동작하는 것을 목적으로..