딥러닝 특화 과정을 수강하고 러닝을 정리합니다.

Contents
1 - Introduction to Deep Learning
1-1 - What is a Neural Network?
1-2 - Supervised Learning with Neural Networks
1-3 - Why is deep learning taking off?

Introduction to Deep Learning

What is a Neural Network?

Neural Network 신경망 은 인간의 뇌와 신경 체계의 수학적 모델을 의미한다.

집값 예측 문제를 예를 들어보자. 여섯개의 집에 대한 데이터(집의 크기와 가격)을 알고 있을 때, 집의 크기 size of house 에 대해서 집값 price을 예측할 수 있는 함수를 도출하고 싶다.

간단한 신경망으로 생각해보면, 입력값 $x$ size of a house 이 neuron, 노드(a single neuron)로 들어가고 츨력값 $y$ 주택 가격을 출력한다. 이러한 뉴런들 여러개를 쌓아서 더 큰 신경망 모델을 구현할 수 있다. 더 많은 피쳐를 사용한 신경망 모델은 다음과 같이 나타낼 수 있다. 신경망은 입력$x$와 출력$y$를 매칭해주는 함수를 찾는 과정으로 볼 수 있다.

Supervised Learning with Neural Networks

머신러닝에서 지도학습은 정답 label이 주어진 데이터를 사용해 학습시키는 방법이다. 앞서 살펴본 주택 가격 예측 예제도 신경망을 사용해 지도학습을 구현할 수 있다. 분야에 따라 적용되는 신경망이 다르고, 데이터의 형태에 따라 모델 구현 방식이 다르다. 예를 들어, 이미지 데이터는 CNN 합성곱 신경망을, 음성 데이터 (1차원의 시계열데이터로 나타나는 시퀀스)는 RNN을 사용한다.

신경망 모델은 컴퓨터가 비구조적 데이터를 잘 학습하도록 발전해왔다.

• 구조적 데이터: 정보의 특성이 잘 정의된, 데이터베이스로 표현된 데이터
• 비구조적 데이터: 이미지, 오디오와 같이 특징적인 값을 추출하기 어려운 형태의 데이터

Why is deep learning taking off?

데이터 양의 증가, 컴퓨터 성능 향상, 알고리즘 개선으로 성능이 향상되었기 때문에, 딥러닝이 강력한 도구로 부상했다.

• 데이터 양의 증가
  
  $x$축 : Amount of labeled data = $m$

  • $m$ 훈련 샘플 사이즈가 작을 때, 알고리즘의 상대적 순위가 잘 정의되어 있지 않고, 구현 방법에 따라 성능이 결정된다.

  • 훈련 샘플 사이즈가 아주 클 때는 큰 신경망이 일관되게 다른 방법들을 압도한다.

• 알고리즘 개선 Sigmoid함수와 ReLU함수
  신경망함수의 활성화함수를 Sigmoid함수를 ReLU 함수로 바꾸면서 경사하강법 알고리즘 작동에 큰 성과를 가져왔다.
  • Sigmoid 함수 : 왼쪽, 오른쪽 끝부분으로 가면 미분값이 0이 된다. 이는 경사하강법을 사용할 때 파라미터 값을 아주 천천히 바꾸게 하고, 학습 속도가 급격히 저하되는 문제(Gradient Vanishing 소멸)가 발생한다.
  • ReLU함수 : 입력값이 양수인 경우 미분값이 1로 모두 동일하므로 0에 수렴할 가능성이 훨씬 적어진다. *ReLU : Rectified Linear Unit, Rectify는 0과 결과값 중 큰 값을 취하라는 뜻이다.

딥러닝은 아이디어를 코드로 구현하고 그 신경망이 얼마나 성능이 좋은 지 실험을 진행하고를 반복하는 것이다.