[ZB 데이터스쿨 11기]17주차 학습노트

InSung-Na·2023년 5월 5일
0

Study Note

목록 보기
17/18
post-thumbnail

📌17주차 학습내용 요약

딥러닝 역사

image

ML vs DL

딥러닝 구성

딥러닝

뉴런

image

  • 구성요소 : 입력, 가중치, 활성화함수, 출력
  • 가중치를 업데이트
  • 처음에는 초기화를 통해 랜덤값을 넣고, 학습을 통해 가중치를 수렴시킴

레이어와 망(net)

image

  • 뉴런이 모여서 layer를 구성하고, 망(net)이 됨

딥러닝

image

  • 신경망이 깊어(많아)지면 깊은 신경망 Deep Learning이 됨

CNN

Dropout

역전파

  • XOR문제의 해결을 위해 등장한 역전파
  • 출력층부터 delta를 계산해서 은닉층으로 전달한다

연쇄법칙(Chain Rule)

활성함수

softmax

  • softmax(xi)=exi/j=1nexjsoftmax(x_i) = e^{x_i} / \sum_{j=1}^{n} e^{x_j}
  • 입력받은 값을 출력으로 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수

ReLU

  • f(x)=max(0,x)f(x) = max(0, x)
  • +/-가 반복되는 신호에서 -흐름을 차단

sigmoid의 한계

image

image

image

Vanishing Gradient problem

image

ReLU

  • Rectified Linear Units
  • 은닉층은 대부분 ReLU를 사용

image

softmax

  • 카테고리들 중 확률이 가장 높은 대상을 정답으로 판단

image

활성화 함수 미분값

옵티마이저

0개의 댓글