층을 구성하는 단계에서 사용되는 함수로, 입력된 데이터의 가중 합을 출력신호로 변환하는 함수
ReLU 활성화: max(x, 0)
시그모이드 활성화: sigmoid(x) = 1 / (1 + exp(-x))
소프트맥스 활성화: exp(x) / reduce_sum(exp(x)).
tahn 활성화: tanh(x) = sinh(x)/cosh(x) = ((exp(x) - exp(-x))/(exp(x) + exp(-x))).
🔸 softplus
softplus(x) = log(exp(x) + 1)
🔸 softsign
softsign(x) = x / (abs(x) + 1)
🔸 selu
Scaled Exponential Linear Unit
selu(x) = scale * elu(x, alpha)
if x > 0: return scale * x
if x < 0: return scale * alpha * (exp(x) - 1)
model.compile(optimizer = 'rmsprop',
loss = 'binary_crossentropy',
metrics='acc')
Gradient 기반( GD )
사용가능한 함수
SGD
RMSprop
Adam
Adadelta
Adagrad
Adamax
Nadam
Ftrl
🔸 사용가능한 함수
확률(Probabilistic losses)
회귀(Regression losses)
"최대 마진" 분류를 위한 힌지
🔸 기억해야할 점
🔸 사용가능한 함수
정확도(Accuracy metrics)
확률(Probabilistic metrics)
회귀지표(Regression metrics)
참/거짓, 긍정/부정에 기반한 평가지표
이미지세분화(Image segmentation metrics)
"최대 마진" 분류를 위한 힌지