# ReLU

jaekyu_lim

RNN이란? >* RNN(Recurrent Neural Network)은 입력과 출력을 시퀀스 단위로 처리하는 시퀀스(Sequence) 모델 순환 신경망(Recurrent Neural Network)은 시퀀스(seqence) 데이터를 사용 시퀀스 데이터란 시계열 데이터라고도 한다. 시점에 따라 데이터가 달라지는 것을 의미 텍스트와 같이 순서에...

joonlaxy

활성화 함수 종류

byun-

인공 신경망에서 활성화 함수는 입력값을 변환하여 출력값을 생성하는 함수이다. 활성화 함수에는 선형 활성화 함수와 비선형 활성화 함수가 있다. 인공 신경망에서는 비선형 활성화 함수를 사용하는 것이 일반적이다. 왜냐하면 선형 활성화 함수를 사용할 경우, 여러 층을 쌓아도

govldbstj

합성곱 신경망의 동작 원리 및 이를 통한 이미지 분류LGAimers의 주재걸교수님 강의를 바탕으로 작성한 글입니다. 사용한 이미지는 강의 자료이며 개인 공부를 위한 포스팅입니다. \-> Fully Connected neural network : 앞에서 배운 멀티레이어

govldbstj

Deep learning을 학습하기 위한 구체적인 기법들Gradient descentBack propagationGradient vanishing & batch normalizationLoss function이 최소화가 되도록!loss function에 대해서 각각의

hajeongjj

뉴런의 활성화 함수Relu 함수 $R(x) = max(0, x)$ softmax 함수 : 표준화지수함수로도 불리며, 출력값이 여러개로 주어지고 목표치가 다범주인 경우 각 범주에 속할 사후확률을 제공하는 함수 $yi = \\frac{exp(z_j)}{\\sum{i=

rjtp5670

신호를 다음 뉴런으로 보내기 위해, 활성화 함수를 거친다. 즉 신호는, 활성화 함수를 거쳐서 순전파 되기때문에, 활성화 함수 또한 역전파를 거친다는 의미를 지닌다. 이번 포스팅은, 신호를 활성화 함수에 전달하여, 순전파와 역전파가 어떻게 작동하는지 알아보도록 한다. R

ym980118

활성화 함수 간단 정리 !!

dk3233

★ 딥러닝(Deep Learning)ㄴ선형회귀로 풀어야 하는 문제 외 비선형으로 풀어야 하는 문제들이 있어 이들을 층(layer)으로쌓아올려 딥하게 학습시킨 모델ㄴDeep neural networks, multilayer Perceptron 등으로 불림★ XOR 문제(

coral2cola

Activation Functions logistic regression에서 linear transformation 결과에 적용한 non-linear transformation인 sigmoid함수가 activation function에 해당된다. activation f

hyungraelee

Kaggle Titanic

gongsam

1. 딥러닝 개념 정리 2. cs231n 6강 정리 3. 회고

mn99134

MINST 숫자 분류기의 학습 과정 내부 분석

xdfc1745

딥러닝 네트워크에서 노드에 들어오는 값들에 대해 바로 다음 레이어로 전달하지 않고 비선형 함수를 주로 통과 시킨 후에 전달한다. 이 때 사용하는 비선형 함수를 활성화 함수(activation function)이라고 한다.비선형 함수를 사용하는 이유는 멀티퍼셉트론을 경우

jaehyeong

Intro현재 ConvNet 기반의 모델은 단순 이미지 인식을 넘어 Object Detection, Semantic Segmentation 까지 딥러닝 알고리즘 중 가장 활발히 연구되고 성과를 내고 있는 분야이다. 우선 각 분야별 적용되고 있는 주요 모델을 간단히 살펴

uonmf97

Activation Function Activation Function : 특정 값을 넘어가거나 도달하면,

peterpictor

입력값과 가중치를 곱해주고 활성함수를 위한 b(bias)를 더해준 값을 활성함수에 입력함활성함수는 입력에 가중치가 곱해서 나온값의 정도를 결정해서 다음으로 넘겨줌!선형함수에서 ReLU까지 활성함수가 발전해온 과정sigmoid와 계단함수 같은 경우 값이 너무 작거나 너무

joo4438

퍼셉트론 복습, 활성화 함수의 정의, 활성화 함수 종류 및 구현(계단함수, 시그모이드, ReLU)

kmkwon94

딥러닝과 머신러닝의 차이를 구글링하는 도중에 신경망이란 무엇인가라는 유튜브 영상에까지 이르렀다. 처음 보았던 영상은 Backpropagation(역전파)에 대한 내용이였는데, 예전 선형대수 시간에 배웠던 것을 훨씬 더 쉽고 이해하기 쉽게끔 그래픽과 함께 가르쳐 주는 영

uonmf97

Sigmoid Function이란? 로지스틱 함수에서 선형예측 결과를 확률로 변환하는 함수로, 0과 1 사이의 값으로 값을 변환해준다.문제점: Sigmoid 함수를 사용하면 gradient 함수를 이용해서 back propagation을 진행할때, sigmoid함수를