머신러닝 기초를 위한 예제 문제

개요

들어가며

머신러닝 기초를 위해 스스로 풀어본 예제문제 모음

업데이트

• 2020.05.10, 최초 작성
  - Cross Entropy 관련 3문제 추가
  • Gaussian Mixture Model 관련 1문제 추가
• 2020.05.21, 문제 추가
  - Cross Entropy, MSE, Back-Propagation 관련 1문제 추가

내용

선형대수

• Matrix의 four spaces를 기반으로 가능한 모든 solution case를 설명하시오(Hint: no solution, one solution, infinitely many solution)
• Determinant의 Property를 설명해보시오(정의에 가까운 3개, 성질 7개)

확률론

• Cross Entropy와 KL Divergence의 관계를 수식으로 표현하시오
• MSE와 Cross Entropy의 관계를 수식으로 표현하시오(Hint: Gaussian Distribution)
• Binary Classification에서 Cross Entropy를 수식으로 표현하시오
• MLP의 Back-Propagation에서 Activation Function으로 Sigmoid라면 MSE vs Cross Entropy는?
  - Activation Function이 ReLu라면?
• Gaussian Mixture Model의 initialization과 optimization method에 대해서 설명하시오