[Deep Learning] 딥러닝 학습

seokwon99·2022년 5월 14일
0

loss function

MSE

연속형 변수를 예측할 때 사용

Binary Cross-Entropy

logistic regression

categorical Cross-Entropy

원핫 인코딩이 완료된 후 사용

sparse_categorical_crossentropy

원핫 인코딩 없이 사용 가능

Batch size

배치 경사 하강법

한번의 iteration으로 epoch 학습 완료

model.fit(X_train, y_train, batch_size=len(X_train))

확률적 경사 하강법

랜덤 1개를 뽑아 학습

model.fit(X_train, y_train, batch_size=1)

미니 배치 경사 하강법

batch_size(보통 2의 n제곱)으로 학습

model.fit(X_train, y_train, batch_size=128)

optimizer

momentum

tf.keras.optimizers.SGD(lr=0.01, momentum=0.9)

Adagrad

tf.keras.optimizers.Adagrad(lr=0.01, epsilon=1e-6)

RMSprop

tf.keras.optimizers.RMSprop(lr=0.001, rho=0.9, epsilon=1e-06)

Adam

tf.keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0, amsgrad=False)

0개의 댓글