2.6. Probability - Dive into Deep Learning 0.17.2 documentation
Ch2 정리 코랩 공유폴더 링크
DiveToDeepLearning - Google Drive
- ch 2.1 ~ 2.6
요약 : 원하는 시점에서 특정한 동작을 발생시킬 수 있는 hook에 의해서 model(X_train)의 형태는 model.forward(X_train)을 호출한다.
#사용 예시
prediction = model(x_train)
model(x_train)은 model.forward(X_train)과 동일함
> nn.Module.__call__
결과 : <function torch.nn.modules.module.Module._call_impl>
__call__은 _call_impl의 별명 (as, alias)
실제 코드 from pytorch/torch/nn/modules/module.py link
__call__ : Callable[..., Any] = _call_impl
Model객체를 호출할 때
model = MyModel(X_train)
model(X_train)
hook과 관련된 친절한 설명
Forward Pre-hook → Forward → Forward Hook → Backward Hook 등록 (grad_fn)
처음 예제에서 보신 것처럼, Module 안에는 Sub-Module 들이 정의되고 순차적으로 call 이 호출되게 됩니다. 이때마다 위와 같은 로직이 실행되게 되는 것이죠.
Can MXNet Stand Up To TensorFlow & PyTorch?
캡슐화
[코드잇] 쉽게 배우는 파이썬 문법 - 프로퍼티(Property) 2편
pandas를 이용한 결측치 다루기
생략
https://colab.research.google.com/drive/1UBA7gXF9jq2HXxca4H6reSgKXSOz6x91#scrollTo=PpmPsheI5wRS
경사하강법
미분을 통해 오차(Loss)가 최소인 점을 찾는 방법
전체 오차(loss)에서 w_n의 기여량 = w_n의 기울기
연산량 감소
Output 모두 반영해서 Loss
- Upstream : 출력값에 가까움
gradient =
upstream
gradient *localstream
gradient
- x의 가중치(계수 or 기울기)를 갱신하기 위해서 dL/dx을 구해야한다.
- x가 포함된, 영향을 미친 모든 노드를 계산
reference
Backpropagation 요약 (sigmoid 함수와 tanh 함수의 미분)
[모두를 위한 cs231n] - Lecture4. Backpropagation and Neural Network. 오차역전파에 대해서 알아보자😃
경사 하강법(Gradient Descent)의 문제점: Local Minimum 문제, Oscillation 문제
https://velog.io/@kjune1236/4%EA%B0%95-Backpropagation
sol.1 : optimizer를 통해 해결
확률(probability) : 특정 값이 존재하는 영역 또는
범위
확률(probability)과 가능도(likelihood) 그리고 최대우도추정(likelihood maximization)
가능도(Likelihood) : f(x)에서 x = a 일때의 값 f(a)
한 점
x에서의 f(x) 값
torch에서 help 명령어 사용법
import torch
print(dir(torch.distributions))
help(torch.ones)
생략