네 가지 키워드로 딥러닝(Deep_learning) 시작하기

김우빈·2022년 5월 23일
0

JUST BUILD DEEP_LEARNING

목록 보기
1/9
post-thumbnail

1.딥러닝이란?

딥러닝의 정의

딥러닝은 입력과 출력의 관계를 잘 설명 가능한 복잡한 함수식의 가중치를 찾는 과정입니다.
또, 딥러닝의 학습은 손실 함수를 최소화하는 인공 신경망의 가중치와 편향을 찾는 과정을 말합니다.

저는 딥러닝의 키워드를 네 가지라고 생각합니다. 이들은 각각 활성화 함수, 손실함수, 옵티마이저(최적화 알고리즘), 다층 신경망으로, 자세한 내용은 각각을 이용한 딥러닝모델 설계 게시글에서 다뤄보도록 하겠습니다.

딥러닝(Deep_Learning)의 네가지 키워드

1.) 활성화 함수(Activaition Function)

첫번째 키워드는 활성화 함수로, 딥러닝 네트워크에서 노드의 입력된 값들을 비선형 함수에 통과시킨 후 다음 레이어로 전달 하게되는데, 이때 사용하는 함수를 활성화 함수(Activaition Function) 라고합니다.
또 이들 각각의 종류에는 Sigmoid(시그모이드함수), Softmax(소프트맥스함수) ReLU(경사함수) 등이 있습니다.

2.) 손실함수(Loss Function)

두번째 키워드는 손실함수로, 간단하게 정리 하자면 딥러닝 모델의 출력값과 사용자가 원하는 출력값의 오차를 의미하며, 손실함수는 정답(y)와 예측(^y)을 입력받아 실수값으로 점수를 만듭니다. 이점수가 높을수록 모델이 좋지않다고 설명할 수 있으며, 손실함수의 함수값이 최소화 되도록 하는 가중치(weight)와 편향(bias)를 찾는것이 좋은 딥러닝 모델을 설계하는 방법이라고 할 수 있겠습니다. 종류로는 MSE-{mean squared error:평균 제곱 오차}, CEE-{cross entropy error: 교차 엔트로피 오차}등이 있습니다.

3.) 옵티마이저(Optimizer)

세번째 키워드는 옵티마이저로, 얼마나 손실(loss)가 생기는지 알 수 있게하는 손실함수(Loss Functionl)의 최소 값을 찾는것을 학습의 목표로 하기위해 딥러닝의 학습이 최대한 틀리지 않는 방향으로 학습해 나아가도록 손실함수(Loss Function)의 최소값을 찾아가는것을 최적화(Optimization)이라고 하고, 이를 수행하는 알고리즘이 옵티마이저(Optimizer), 최적화 알고리즘이라고합니다.
종류로는, Gradient Descent (경사하강법), SGD{Stochastic Gradient Descent: 확률적 경사하강법}, Adam, adaMax 등이있습니다.
여담으로 '어떤 옵티마이저(Optimizer)를 써야하는지 잘 모르겠다면, Adam을 써라'라는 말이있을정도로 Adam의 효율이 좋습니다.

4.) 다층 신경망{MLP: Multi-Layer Perceptron}

마지막 키워드는 다층 신경망{MLP: Multi-Layer Perceptron} 입니다.
여기서 신경망(Perceptron)이란 생물학적 신경망인 뉴런(Neuron)의 작동방식을 인공적으로 만들어낸 신경망(Perceptron)을 의미합니다.
신경망(Perceptron)은, 자극이 들어오면 앞단에서 각 가중치에 맞게 입력을 받아들입니다. 받아들여진 가중치가 곱해진 입력들의 합은 활성화함수(Activation Function)을 통과해 해당 신경망(Perceptron)을 활성화할지 하지않을지 정합니다. 만약 입력의 총합이 해당 신경망(Perceptron)의 활성화함수(Activation Function)임계치를 넘기면 출력을 1로 하여 다음 신경망(Perceptron)으로 자극을 전달합니다. 반대로 임계치를 넘지 못하면 출력이 활성화 되지않습니다. 이러한 구조의 신경망(Perceptron)을 다층 신경망{MLP: Multi-Layer Perceptron}이라고합니다.

위에서 설명드린 네 가지의 키워드만 알고 계신다면, 다양한 딥러닝 기법들의 모델을 이해하는데 어렵지 않으리라 생각합니다. 다음 게시글은 선형회귀(Linear)의 간단한 모델을 설계하면서, 본격적인 딥러닝 모델 설계를 해보도록 하겠습니다.

profile
DeepLearning, MLOps

2개의 댓글

comment-user-thumbnail
2022년 5월 23일

멋있어요!

1개의 답글