Deep Learning from scratch V2

딥러닝 쌩~으로 이해하기

입력을 주고 출력을 관찰하는 것이 추론, 순방향 연산

데이터

활성화 함수 - sigmoid 함수

활성화 함수의 종류

가중치를 랜덤하게 선택 (원래는 학습이 완료된 가중치를 사용)

추론 결과

가중치가 이제 정답을 맞추도록 학습

정답 추가

딥러닝 모델의 큰 규모

딥러닝 학습의 가장 간단한 절차

가중치를 어떻게 갱신할까?

모델의 출력을 계산하는 함수

오차를 계산하는 함수

sigmoid의 미분 (코드)

sigmoid의 미분 공식

한 epoch에 수행되는 W의 계산

가중치를 랜덤하게 초기화하고 학습

결과 확인

XOR

데이터 설정 후 학습

결과 확인 > 결과가 엉망

다시보는 역사

최초의 신경망 – 매컬러 피츠 모델

로젠블랏의 퍼셉트론

XOR 문제로 한계를 지적한 민스키 – 책이름이 퍼셉트론

역전파 알고리즘 발견

역전파

output 계산 함수

출력층의 델타 계산

은닉층의 델타 계산

자주 사용되는 활성화 함수들의 미분값

역전파 코드

데이터를 준비하고 가중치를 랜덤하게 초기화

학습

결과

Loss 함수

cross entropy

cross_entropy의 델타

은닉층

역전파

학습 & 결과

예제 (그노므 숫자)

훈련용 데이터 생성

Softmax 함수

정방향 계산 함수

역전파 계산 함수

가중치 계산 함수

가중치 업데이트 함수

훈련 데이터 검증 함수

학습

결과

테스트 데이터 생성

테스트

테스트 결과 시각화

dropout 함수

역전파 함수

dropout 적용해서 재계산

재학습

결과 출력

결과 시각화