# activation function

12개의 포스트

[딥러닝] Activation function

Hidden layer(은닉층) activation function Hyperbolic tangent function Hidden layer에서 사용 sigmoid 보단 gradient vanishing이 개선되었지만 relu 가 더 많이 쓰임 Relu func

2022년 5월 14일
·
0개의 댓글
post-thumbnail

딥러닝 PART.CS231n 6강

Training Neural Network 이 파트의 목적은 활성화 함수 개념 정리가 아닌 전처리 및 가중치 초기화시 문제점 정리이다. > #### 활성화 함수 정리 시그모이드 Z centered 하지 않은 문제 ${dL \over dθ} \times {d

2022년 4월 27일
·
0개의 댓글
post-thumbnail

Neural Network 활성화 함수(Activation Function)

활성화 함수의 사용 이유: 활성화 함수는 이전 층의 output값을 함수에 적용시켜 다음 층의 뉴런으로 신호를 전달한다. 활성화 함수가 필요한 이유는 모델의 복잡도를 올리기 위함인데 모델의 복잡도를 올리는 이유는 비선형 문제를 해결하기 위해서이다. perceptr

2022년 4월 3일
·
0개의 댓글
post-thumbnail

선형 회귀에서 배우는 학습의 구성요소

PyTorch 스터디 교재 : Dive Into Deep Learning 진행 방식 해당 주차의 스터디 범위 학습 정해진 순번대로 발표 (개인적 목표: 매회 발표 자원하기!) 스터디 과정에서 학습 내용을 정리하였다. Ch 3.1 3.1. 선형 회귀(Linear

2022년 2월 15일
·
0개의 댓글
post-thumbnail

Softmax 활성화 함수

다중 클래스 분류 문제에 사용되는 Softmax 함수의 수식과 구현, 오버플로우 방지 대책, 특징을 소개한다.

2022년 1월 11일
·
0개의 댓글

Swish function

어떤 연구에서는 Swish, 또 다른 연구에서는 SiLU로 불린다. activation function 연구는 활발하게 이루어지지만 어떤 과제에서 잘 되는 함수가 다른 과제에서는 잘 안 되는 게 많아서 자주 쓰이는 건 한정적이다.

2021년 11월 2일
·
0개의 댓글
post-thumbnail

1.3 Why deep learning? Why now?

The two key ideas of deep learning for computer vision, convolutional neural networks and backpropagation were already well understood in 1989. The Lo

2021년 9월 17일
·
0개의 댓글
post-thumbnail

Activation Function(활성화 함수)

Activation Fuction 공부해야만 하는거야🤨❔ Deep Learning 관련 공부를 하다보면 대부분 activation function는 relu, Optimizer는 adam, loss(cost) fuction categorical_crossentropy

2021년 8월 19일
·
0개의 댓글

Activation function

생물이 가진 뉴런은 인공신경망보다 훨씬 복잡하게 작동한다. 그 중 '활성화'에 대한 이야기를 하려고 한다.

2021년 7월 7일
·
0개의 댓글
post-thumbnail

딥러닝 - 활성함수 (Activation function)

퍼셉트론 복습, 활성화 함수의 정의, 활성화 함수 종류 및 구현(계단함수, 시그모이드, ReLU)

2021년 6월 24일
·
1개의 댓글