[혼공머신] 6주차 - 딥러닝

인공 신경망

• 인공 신경망
  • 신경망처럼 생긴 머신러닝 알고리즘
• 밀집층
  • 가장 간단한 인공 신경망의 층
• 원-핫 인코딩
  • 배열에서 특정 정수 위치의 원소만 1로, 나머지를 0으로 변환하는 것

TensorFlow

• Dense
  • 신경망에서 가장 기본 층인 밀집층을 만드는 클래스
  • 첫 번째 매개변수는 뉴런의 개수 지정
  • activation 매개변수에는 사용할 활성화 함수 지정
    • sigmoid, softmax 등
• Sequential
  • 케라스에서 신경망 모델을 만드는 클래스
  • 객체 생성 시, 신경망 모델에 추가할 층 지정 가능
    • 여러 층 추가하려는 경우, 파이썬 리스트로 전달
• compile()
  • 모델 객체 만든 후, 훈련 전에 사용할 손실함수와 측정 지표 지정하는 메소드
• fit()
  • 모델 훈련 메소드
• evaluate()
  • 모델 성능 평가 메소드

심층 신경망

• 심층 신경망
  • 2개 이상의 층을 포함한 신경망
• ReLU 함수
  • 이미지 분류 모델의 은닉층에 많이 사용하는 활성화 함수
  • 시그모이드 함수는 층이 많을수록 활성화 함수의 양쪽 끝에서 변화가 작기 때문에 학습 어려움
• 옵티마이저
  • 신경망 가중치와 절편 학습을 위한 알고리즘 또는 방법
    • SGD, 네스테로프 모멘텀, RMSprop, Adam

신경망 모델 훈련

• 드롭 아웃
  • 은닉층에 있는 뉴런의 출력을 랜덤하게 꺼서 과대적합을 막는 기법
• 콜백
  • 케라스 모델을 훈련하는 도중에 어떤 작업을 수행할 수 있도록 도와주는 도구
  • ex, 검증 점수가 더 이상 상향되지 않으면 일찍 종료
• 조기 종료
  • 검증 점수가 더 이상 감소하지 않고 상승하여 과대적합이 일어나면 훈련을 계속 진행하지 않고 멈추는 기법

기본 미션

• 7-1 1번 문제
  • 입력특성 * 밀집층 + 밀집층 -> 모델 파라미터 개수
  • 100 * 10 + 10 = 1010 : 3번