1. Deep Learning 기본 용어 설명

학습목표

• 이번 강의에서는 딥러닝에 대한 소개 및 핵심 워드
• CNN(Convolutional neural networks), RNN(Recurrent Neural Networks)와 같은 딥러닝 모델을 공부하기 전 중한 요소인 Data, Model, Loss, Optimization algorithms에 대해 학습

1. 사람의 지능 모방 → 데이터 기반 머신러닝→ 딥러닝→ 데이터를 통한 학습

2. 논문을 볼 때 주의깊게 보면 좋은 점

• Key Components of Deep Learning (딥러닝 분야의 기본요소)
• The data that the model can learn from (데이터 : 이미지, 말뭉치, 비디오 등)
• The model how to transform the data (학습하고자 하는 모델)
• The loss function that quantifies the badness of the model (제곱을 최소화 등)
• The algorithm to adjust the parameters to minimize the loss (최소화를 위한 알고리즘 등)

3. Data depend on the type of the problem to solve.

→ 1~2. 이미지를 픽셀별로 구분
→ 3. Detection : 물체에 대한 바운딩 박스
→ 4. Pose Estimation : 3차원 스켈레톤 정보
→ 5. Visual QnA : 이미지가 주어졌을 때, 눈 색깔을 설명할 수 있는 것

4. Model

• 이미지, 텍스트 등이 주어졌을 때, 직접적으로 알고싶은 것들을 바꿔주는 것

5. Loss function

손실 함수(loss function) 란?

• 머신러닝 혹은 딥러닝 모델의 출력값과 사용자가 원하는 출력값의 오차를 의미
• 손실함수는 정답(y)와 예측($\hat y$)를 입력으로 받아 실수값 점수를 만드는데, 이 점수가 높을수록 모델이 안 좋은 것
• 손실함수의 함수값이 최소화되도록 하는 가중치(weight)와 편향(bias)를 찾는 것이 목표

---

→ Regression Task : 회귀문제
→ Classification Task : 분류문제
→ Probabilistic Task : 확률모델을 활용해서 평균, 분산으로 모델링 했을 때

---

💡 모델과 데이터가 정해졌을 때, 모델을 어떻게 학습을 할지?

• 이루고자 하는 것의 근사치이며, 일반적으로 분류 및 회귀문제를 풀 때 단순히 loss function이 줄어드는게 목적으로 볼 수 있지만, 이 값이 줄어든다고 해서 원하는 값을 항상 이룬다는 보장은 없음
• 이런 관계를 잘 이해하는 것이 새로운 연구하는 것에 도움이 됨

6. Optimization Algorithm (최적화 방법)

• neural network의 파라미터를 loss function에 대해 1차 미분한 정보를 활용
• loss function을 단순히 줄이는 것이 아닌, 이 모델이 학습하지 않은 데이터에 대해서도 잘 돌아가도록 하는 것이 목표