[DL] callback 함수

📢 callback 함수 중 checkpoint 와 early stopping 에 대한 페이지입니다.

모델 저장

• model checkpoint
• 특정 epoch 마다 모델 저장할 수 있음
• 이를 활용하면 좋은 경우
  • 딥러닝 모델 학습 시, 지정된 epochs 모두 진행할 경우 과대적합일 경우가 있음 → 중간에 일반화된 모델 저장할 수 있음 예를 들어, 100번 학습했을 때 100번 중 70번째 이후부터 과적합이 일어났다고 하자. 기존대로 한다면, 이를 확인하고 70번 학습시킨 모델 다시 만들어야함. But, checkpoint 사용하면 저장된 70번째 모델을 가져다가 사용할 수 있음!
    
  • 커널이 끊기면 정보가 날아감 → 학습 내용을 저장할 수 있음
  • 모델만 떼서 쓰고 싶을 때 사용 가능(예를 들어, 웹에 손글씨 올린다고 하면, flask 서버가 데이터 옮겨주면? 따로 떼둔 모델에 손글씨 사진 넣어서 바로 사용 가능)

모델 조기 학습 중단

• early stopping
• 말 그대로, 모델을 조기에 학습 중단 시키는 것
• 이를 활용하면 좋은 경우
  • epoch를 크게 설정했을 시 일정 횟수 이후로는 모델의 성능개선이 되지 않는 경우가 있음 → 그럼에도 계속 학습하면 시간/자원 낭비임!
  • 모델의 성능이 더이상 개선되지 않을 때 조기 중단

코드

모델 저장

# 모델 저장
# 경로 설정
model_path = './data/num_model/model_{epoch:02d}_{val_accuracy:0.3f}.keras'
mc = ModelCheckpoint(filepath=model_path,
                     verbose = 1, # log 출력
                     save_best_only = True, # 모델이 최고성능을 갱신할 때만 저장 (False: 모든 epoch 저장)
                     monitor = 'val_accuracy' # 모델의 성능확인 기준 지표
)

조기 학습 중단

# 조기학습 중단
es = EarlyStopping(monitor='val_accuracy',
                   verbose = 1,
                   patience = 10) # 모델의 성능개선을 기다려주는 횟수 (만약 성능 개선이 더디다면, 횟수 더 늘리기!)

모델링

model1 = Sequential()
model1.add(Input(shape=(28,28)))
model1.add(Flatten())
model1.add(Dense(units=64, activation='sigmoid'))
model1.add(Dense(units=128, activation='sigmoid'))
model1.add(Dense(units=256, activation='sigmoid'))
model1.add(Dense(units=128, activation='sigmoid'))
model1.add(Dense(units=64, activation='sigmoid'))
model1.add(Dense(units=10, activation='softmax'))

model1.compile(loss='sparse_categorical_crossentropy',
               optimizer=SGD(),
               metrics=['accuracy'])

m1 = model1.fit(X_train, y_train, epochs=200, validation_split=0.2,
                callbacks = [mc,es])       # <- 이 부분에서 적용 !!!!!

model1.evaluate(X_test, y_test)

저장된 모델 불러오기

• 목적: best 모델 불러와서 직접 작성한 손글씨 데이터 평가

# best 모델 불러오기
from tensorflow.keras.models import load_model
best_model = load_model('./data/num_model/model_97_0.890.keras') # <- 이 부분 !!!!

# 이미지 불러오기
import PIL.Image  as pimg
img = pimg.open('./data/5.png')

# shape 확인
np.array(img) # 현재 컬러(RGB) 로 되어 있어서, 흑백으로 바꿔야함~!

# 컬러이미지 흑백으로 변환
img_b = img.convert('L')
img_np = np.array(img_b)

# shape 변경
img_np = img_np.reshape(1,28,28)

# 예측
best_model.predict(img_np)
# 각 class 에 대한 확률값
# array([[0.0084987 , 0.01119939, 0.23745966, 0.03384652, 0.00381436,
#         0.0770776 , 0.00616608, 0.00652381, 0.59920114, 0.01621275]],
#       dtype=float32)

# 확률값을 기반으로 최댓값만 출력
best_model.predict(img_np).argmax() # argmax: 최댓값의 인덱스 출력
# np.int64(8)

• std
  • early stopping 로그

    1500/1500 ━━━━━━━━━━━━━━━━━━━━ 7s 5ms/step - accuracy: 0.9015 - loss: 0.3550 - val_accuracy: 0.8924 - val_loss: 0.3776
    Epoch 119: early stopping

  • checkpoint 로그

    1490/1500 ━━━━━━━━━━━━━━━━━━━━ 0s 3ms/step - accuracy: 0.8893 - loss: 0.3978
    Epoch 109: val_accuracy improved from 0.89583 to 0.89875, saving model to ./data/num_model/model_109_0.899.keras