한양대학교 박서연 교수님 - github.io

(한양대학교 박서연 교수님의 딥러닝 수업을 청강 하면서 정리한 내용을 바탕으로 교수님의 허락을 받고 작성하였습니다.)

• 1주차에는 deep learning Introdustion이라 제외하였습니다

---

Loss function

• 딥러닝은 학습데이터를 외우는게 아닌 경향성을 파악하는것이다 (일반화)
  
  
• input과 output의 shape를 어떻게 하느냐에 따라 가중치의 차원이 정해짐
  
  
• bias는 어떤 클래스를 얼마나 더 선호하는 지에 대한 지표
  • 학습이 되긴하지만, 해석의 관점으로 보기때문에 학습이 안된다고 표현한다
    
    
• 선형적으로 해결이 안되는 이슈가 고차원 모델로 갈수록 심해짐
  • 비선형을 적용해서 해결하고자 함
    
    
• 현재의 가중치가 얼마나 나쁜지(잘못되었는지)에 대한 수치 : Loss function
  • 이 나쁜값을 기준으로 업데이트를 해야함 : optimization

---

• 모두 같은 표현
  
  
• LOSS Function을 어떻게 구성하는가가 딥러닝에 가장큰 이슈
  
  
• 분류 문제에선 거의 CrossEntropyLoss를 쓴다
  • CrossEntropyLoss
    
• True Class에 probability distribution을 집중시키는 것 : one-hot encoding
  • 과적합 이슈가 생김 > Label smoothing

---

• optimization > slope & gradient!
  
  
• gradient descent
  
• 랜덤 가중치 설정 > Loss 계산 > Gradient 계산 > gradient descent (dot product) > 가중치 업데이트
  
  
• learning rate의 스케줄링도 요즘 중요함

---

• 참고자료

CrossEntropyLoss — PyTorch 2.8 documentation

NLLLoss — PyTorch 2.8 documentation