# MSE
[간단정리]Comparing Kullback-Leibler Divergence and Mean Squared Error Loss in Knowledge Distillation(IJCAI 2021)
Some notes on relation between KL-Divergence and MSE for Knowledge Distillation
Gradient Descent 모델 구현
나이를 기준으로, 키를 예측하는 선형 예측 회귀 모델을 생성하자. 목표: 오차함수로, MSE를 사용하고 오차를 줄이기 위해 Gradient Descent를 사용하자. 모델 구현의 편의를 위해, Feature Vector(나이)의 차원은 1D로 사용한다. 사용될 데이터는
[AI 01] AI 기본 이론
Machine Learning의 원리와 기본 이론 01 Introduction to Machine Learning Machine learning의 Research 영역 ; 연구 조직 Machine learning의 Engineering 영역 ; 개발 조직
Gradient Descent (경사하강법)과 기초 수학
Keywords Gradient Descent (경사하강법)은 예측값과 타겟값의 차이를 최소 또는 0으로 만들기위해 사용되는 테크닉중 하나이다. (머신러닝의 기본은 최적값, Optimization을 하는 과정) 아래 키워드는 Gradient Descent를 이해하기위
AIB: N231 Choose Your ML Problems
실무에서 데이터과학자와 분석가들은 다음과 같은 프로세스를 거치며 프로젝트를 진행.비즈니스 문제실무자들과 대화를 통해 문제를 발견데이터 문제문제와 관련된 데이터를 발견데이터 문제 해결데이터 처리, 시각화머신러닝/통계비즈니스 문제 해결데이터 문제 해결을 통해 실무자들과 함
손실 함수
예측 정확도를 매개 변수 갱신의 지표로 사용하지 않는 이유를 소개하며 손실 함수의 필요성을 설명한다. 이어 평균 제곱 오차(Mean Squared Error, MSE)와 교차 엔트로피 오차(Cross-Entropy Error, CEE) 손실 함수를 소개한다.
평균제곱오차(MSE) 손실 함수
흔히 MSE라 불리는 평균제곱오차는 다음과 같은 공식을 갖는다.순서는 다음과 같다.1\. 각 성분에 대한 추정값과 정답 사이의 오차(차이)를 구한다.2\. 오차를 제곱한다.3\. 각 성분에 대한 오차를 모두 합한다.4\. 합한 값을 전체 성분 값으로 나눈다.오차를 제곱
[인사이드 머신러닝] 단순회귀모델: 회귀선의 적합도 평가
아래의 내용을 읽어보기 전에 이전 포스트(\[인사이드 머신러닝] 단순회귀모델: 회귀계수의 추정)를 먼저 보는 것이 전체적인 흐름을 이해하는데 도움이 됩니다.이전 포스트에서 살펴본 방식대로 단순회귀모델에서 회귀직선을 추정한 후에는 그 결과가 얼마나 타당한지 검토하여야 한
[AI Bootcamp] N212 - Multiple Linear Regression
train data / test data / 다중선형회귀 / 편향과 분산 / 회귀분석 평가지표
[AI Bootcamp] N131 - Linear Algebra (1)
vectors / matrices / identity / inverse / determinant
Error Metric!
1. Metric? 대학에서 학생을 고르기 위해 학생이 공부를 얼마나 잘 하는지를 평가하듯, 우리가 예측 모델을 고를 때에도 예측 모델이 얼마나 잘 예측하는지 평가할 필요가 있다. "A 학생이 B 학생보다 공부를 잘 해, 왜냐면 A학생은 표준점수 합이 540점인데,