# ReLU

17개의 포스트
post-thumbnail

딥러닝과 인공신경망: 활성화 함수의 역전파 구현하기

신호를 다음 뉴런으로 보내기 위해, 활성화 함수를 거친다. 즉 신호는, 활성화 함수를 거쳐서 순전파 되기때문에, 활성화 함수 또한 역전파를 거친다는 의미를 지닌다. 이번 포스팅은, 신호를 활성화 함수에 전달하여, 순전파와 역전파가 어떻게 작동하는지 알아보도록 한다. R

2022년 8월 3일
·
0개의 댓글
·

딥러닝(Deep Learning)

★ 딥러닝(Deep Learning)ㄴ선형회귀로 풀어야 하는 문제 외 비선형으로 풀어야 하는 문제들이 있어 이들을 층(layer)으로쌓아올려 딥하게 학습시킨 모델ㄴDeep neural networks, multilayer Perceptron 등으로 불림★ XOR 문제(

2022년 5월 17일
·
0개의 댓글
·
post-thumbnail

Activation Functions

Activation Functions logistic regression에서 linear transformation 결과에 적용한 non-linear transformation인 sigmoid함수가 activation function에 해당된다. activation f

2022년 4월 16일
·
0개의 댓글
·
post-thumbnail

신경망과 활성화 함수

단층 퍼셉트론, 다층 퍼셉트론, 신경망의 차이를 활성화 함수의 관점에서 알아보며, Step Function, Sigmoid Function, ReLU에 관해서도 알아본다. 또한 뉴런으로 층을 쌓는 혜택을 보고 싶다면 비선형 함수를 사용해야 함을 설명한다.

2022년 1월 11일
·
0개의 댓글
·
post-thumbnail

활성화 함수(activation function)

딥러닝 네트워크에서 노드에 들어오는 값들에 대해 바로 다음 레이어로 전달하지 않고 비선형 함수를 주로 통과 시킨 후에 전달한다. 이 때 사용하는 비선형 함수를 활성화 함수(activation function)이라고 한다.비선형 함수를 사용하는 이유는 멀티퍼셉트론을 경우

2021년 12월 3일
·
0개의 댓글
·
post-thumbnail

합성곱 신경망(ConvNet, Convolutional Neural Network)

Intro현재 ConvNet 기반의 모델은 단순 이미지 인식을 넘어 Object Detection, Semantic Segmentation 까지 딥러닝 알고리즘 중 가장 활발히 연구되고 성과를 내고 있는 분야이다. 우선 각 분야별 적용되고 있는 주요 모델을 간단히 살펴

2021년 7월 18일
·
0개의 댓글
·
post-thumbnail

모두를 위한 딥러닝 시즌 1 :: ML lec 10

Activation Function Activation Function : 특정 값을 넘어가거나 도달하면,

2021년 7월 12일
·
0개의 댓글
·
post-thumbnail

[딥러닝] 성능향상(활성함수)

입력값과 가중치를 곱해주고 활성함수를 위한 b(bias)를 더해준 값을 활성함수에 입력함활성함수는 입력에 가중치가 곱해서 나온값의 정도를 결정해서 다음으로 넘겨줌!선형함수에서 ReLU까지 활성함수가 발전해온 과정sigmoid와 계단함수 같은 경우 값이 너무 작거나 너무

2021년 7월 7일
·
0개의 댓글
·
post-thumbnail

딥러닝 - 활성함수 (Activation function)

퍼셉트론 복습, 활성화 함수의 정의, 활성화 함수 종류 및 구현(계단함수, 시그모이드, ReLU)

2021년 6월 24일
·
1개의 댓글
·
post-thumbnail

딥러닝 활성화 함수

과정뉴런이 입력 데이터를 처리하는 과정x인 입력 데이터는 가중치와 곱해진다. (x가 둘 이상일 경우 각 x에 서로 다른 가중치 w가 곱해진다.)가중치와 데이터의 곱을 모두 더해준 후 활성화 함수에 대입된다.활성화 함수에는 계단함수, 시그모이드, 하이퍼볼릭 탄젠트...

2021년 6월 13일
·
0개의 댓글
·
post-thumbnail

신경망이란 무엇인가? | 1장 딥러닝에 대하여 영상을 보고 셀프 기록

딥러닝과 머신러닝의 차이를 구글링하는 도중에 신경망이란 무엇인가라는 유튜브 영상에까지 이르렀다. 처음 보았던 영상은 Backpropagation(역전파)에 대한 내용이였는데, 예전 선형대수 시간에 배웠던 것을 훨씬 더 쉽고 이해하기 쉽게끔 그래픽과 함께 가르쳐 주는 영

2021년 5월 31일
·
0개의 댓글
·
post-thumbnail

RELU Function

Sigmoid Function이란? 로지스틱 함수에서 선형예측 결과를 확률로 변환하는 함수로, 0과 1 사이의 값으로 값을 변환해준다.문제점: Sigmoid 함수를 사용하면 gradient 함수를 이용해서 back propagation을 진행할때, sigmoid함수를

2021년 5월 17일
·
0개의 댓글
·
post-thumbnail

[AI] AlexNet (1) 논문 읽기

유명 논문을 야매로 읽어보za - 내 맘대로 논문 정리 요약하기 (ㅎ_ㅎ)                                                                      알렉스가 만들어서 알렉스넷ㅋ 장난 하나, 장난 둘, 장난 셋, 장난 넷

2021년 5월 12일
·
0개의 댓글
·