모두를 위한 딥러닝 1: Lecture 7 Application & Tips : Learning Rate , data Processing, Overfitting, Training/Test Data Set

Uomnf97·2021년 6월 28일
0

Learning Rate

  • Large Learning Rate : 큰 step으로 경사하강법을 함 ( Overshooting 발생 - 큰값으로 증가, 발산)
  • Small Learning Rate : 너무 작은 step으로 경사하강법을 함 ( takes too long, stops at local minimum )
  • Tip : 0.01로 시작하고 발산 정도에 따라 값을 수정해주는 것이 좋음

Data Processing

  • Data가 편향되어 있는경우 데이터를 전처리 해줘야 하는 경우가 생김
    편향 조정 방법 : Zero-centered data, normalized data

Ex)Standarzation


Over-Fitting

  • Over fitting이란 ? 과적합을 말하며 학습데이터에 너무 적합한 상태
  • Over fitting 을 줄이는 방법
    1) 중복된걸 줄여주기
    2) 데이터 수를 늘리기
    3) 일반화 시키기 - regulation strength를 이용해서 W의 값을 조정해줌

Evalutaion

  • 학습이 얼마나 잘됬는지 성능 평가

Training Data Set

  • 학습을 시키는 데이터 셋, 절대로 Test data로 활용할 때 쓰면 안됨

Test Data Set

-Test Data Set : 절대로 Training Data로 활용할 때 쓰면 안됨

Online Learning

  • 많은 데이터가 있을 때, 데이터를 분할해서 학습시키고 테스트 하는 방법
profile
사회적 가치를 실현하는 프로그래머

0개의 댓글