Loss
loss.backward()
: 모델의 파라미터의 grad 값이 업데이트Optimizer
어느 방향으로, 얼마나 움직일지?
LR scheduler (LR를 동적으로 조절)
Metric
Training Process
model.train()
: Train mode로 변경optimzer.zero_grad()
: gradient 초기화loss = criterion(outputs, labels)
: loss 값 계산loss.backward()
: 모델의 파라미터의 grad 값이 업데이트optimizer.step()
: parameter 업데이트Inference Process
model.eval()
: Inference mode로 변경with torch.no_grad():
: requires_grad=False 상태로 변경 (grad값 변경 X)Pytorch Lightning
Ensemble (앙상블)
Stratified K-Fold Cross Validation
HyperParameter Optimization
Training Visualization
Machine Learning Project