# ReLU

16개의 포스트
post-thumbnail

Activation Functions

Activation Functions logistic regression에서 linear transformation 결과에 적용한 non-linear transformation인 sigmoid함수가 activation function에 해당된다. activation f

2022년 4월 16일
·
0개의 댓글
post-thumbnail

[밑바닥부터 시작하는 딥러닝] 5. 오차역전파법 part2 - 계층 구현

🌿 계층 (Layer) 계층이란 신경망의 기능 단위를 의미한다 이번 포스팅에서는 신경망을 구성하는 '계층'을 각각의 하나의 클래스로 구현해보고자 한다 ! ex ) 시그모이드 함수를 위한 Sigmoid, 행렬 곱을 위한 Affine등의 기능을 계층 단위로 구현 🔨

2022년 3월 10일
·
0개의 댓글
post-thumbnail

[밑바닥부터 시작하는 딥러닝] 3. 신경망 part1 - 활성화 함수, 3층 신경망 구현

🌿 신경망 퍼셉트론에서 가중치를 설정하는 작업은 여전히 사람이 수동으로 해야했음 → 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습 아래 그림은 신경망의 예시 중 하나이다. 활성화 함수 activation function 입력 신호의 총합을 출

2022년 3월 4일
·
0개의 댓글
post-thumbnail

신경망과 활성화 함수

단층 퍼셉트론, 다층 퍼셉트론, 신경망의 차이를 활성화 함수의 관점에서 알아보며, Step Function, Sigmoid Function, ReLU에 관해서도 알아본다. 또한 뉴런으로 층을 쌓는 혜택을 보고 싶다면 비선형 함수를 사용해야 함을 설명한다.

2022년 1월 11일
·
0개의 댓글
post-thumbnail

활성화 함수(activation function)

딥러닝 네트워크에서 노드에 들어오는 값들에 대해 바로 다음 레이어로 전달하지 않고 비선형 함수를 주로 통과 시킨 후에 전달한다. 이 때 사용하는 비선형 함수를 활성화 함수(activation function)이라고 한다.비선형 함수를 사용하는 이유는 멀티퍼셉트론을 경우

2021년 12월 3일
·
0개의 댓글
post-thumbnail

합성곱 신경망(ConvNet, Convolutional Neural Network)

Intro현재 ConvNet 기반의 모델은 단순 이미지 인식을 넘어 Object Detection, Semantic Segmentation 까지 딥러닝 알고리즘 중 가장 활발히 연구되고 성과를 내고 있는 분야이다. 우선 각 분야별 적용되고 있는 주요 모델을 간단히 살펴

2021년 7월 18일
·
0개의 댓글
post-thumbnail

모두를 위한 딥러닝 시즌 1 :: ML lec 10

Activation Function Activation Function : 특정 값을 넘어가거나 도달하면,

2021년 7월 12일
·
0개의 댓글
post-thumbnail

[딥러닝] 성능향상(활성함수)

입력값과 가중치를 곱해주고 활성함수를 위한 b(bias)를 더해준 값을 활성함수에 입력함활성함수는 입력에 가중치가 곱해서 나온값의 정도를 결정해서 다음으로 넘겨줌!선형함수에서 ReLU까지 활성함수가 발전해온 과정sigmoid와 계단함수 같은 경우 값이 너무 작거나 너무

2021년 7월 7일
·
0개의 댓글
post-thumbnail

딥러닝 - 활성함수 (Activation function)

퍼셉트론 복습, 활성화 함수의 정의, 활성화 함수 종류 및 구현(계단함수, 시그모이드, ReLU)

2021년 6월 24일
·
1개의 댓글
post-thumbnail

딥러닝 활성화 함수

과정뉴런이 입력 데이터를 처리하는 과정x인 입력 데이터는 가중치와 곱해진다. (x가 둘 이상일 경우 각 x에 서로 다른 가중치 w가 곱해진다.)가중치와 데이터의 곱을 모두 더해준 후 활성화 함수에 대입된다.활성화 함수에는 계단함수, 시그모이드, 하이퍼볼릭 탄젠트...

2021년 6월 13일
·
0개의 댓글
post-thumbnail

신경망이란 무엇인가? | 1장 딥러닝에 대하여 영상을 보고 셀프 기록

딥러닝과 머신러닝의 차이를 구글링하는 도중에 신경망이란 무엇인가라는 유튜브 영상에까지 이르렀다. 처음 보았던 영상은 Backpropagation(역전파)에 대한 내용이였는데, 예전 선형대수 시간에 배웠던 것을 훨씬 더 쉽고 이해하기 쉽게끔 그래픽과 함께 가르쳐 주는 영

2021년 5월 31일
·
0개의 댓글
post-thumbnail

RELU Function

Sigmoid Function이란? 로지스틱 함수에서 선형예측 결과를 확률로 변환하는 함수로, 0과 1 사이의 값으로 값을 변환해준다.문제점: Sigmoid 함수를 사용하면 gradient 함수를 이용해서 back propagation을 진행할때, sigmoid함수를

2021년 5월 17일
·
0개의 댓글
post-thumbnail

[AI] AlexNet (1) 논문 읽기

유명 논문을 야매로 읽어보za - 내 맘대로 논문 정리 요약하기 (ㅎ_ㅎ)                                                                      알렉스가 만들어서 알렉스넷ㅋ 장난 하나, 장난 둘, 장난 셋, 장난 넷

2021년 5월 12일
·
0개의 댓글