# Statistics

정보 이론과 엔트로피
보통 엔트로피(Entropy)라 하면, 머릿속에 가장 먼저 떠오르는 것은 과학에서 다루는 열역학적 엔트로피이다. 열역학적 관점에서의 엔트로피는 "물체의 열적 상태를 나타내는 물리량의 하나"이다. 이러한 열역학적 정의는 차치하고, 통계학에서 정의하는 엔트로피에 대해 알

[Statistics]Bayesian to DPMM(1). Bayesian Approach
원래 git 에 자료들을 많이 올렸는데, 여기에 조금 더 가독성이 좋게 정리를 해보려고 합니다. 예전에 읽고 싶엇떤 논문이 dirichlet process mixture model 이라는 단어를 중심으로 전개되었습니다. dirichlet process mixture m

[하버드 확률론 기초 : Statistics 110] 5강- 조건부 확률과 전확률정리 (Conditioning Continued, Law of Total Probability)
본 포스트의 학습 내용은 boostcourse 내의 [하버드] 확률론 기초: Statistics 110 (Prof. Joe Blitzstein) 강의 내용을 바탕으로 작성되었습니다. (https://www.edwith.org/ai152)

[하버드 확률론 기초 : Statistics 110] 4강- 조건부 확률 (Conditional Probability)
본 포스트의 학습 내용은 boostcourse 내의 [하버드] 확률론 기초: Statistics 110 (Prof. Joe Blitzstein) 강의 내용을 바탕으로 작성되었습니다. (https://www.edwith.org/ai152)

[하버드 확률론 기초 : Statistics 110] 2강 - 해석을 통한 문제풀이 및 확률의 공리 (Story Proofs, Axioms of Probability)
본 포스트의 학습 내용은 boostcourse 내의 [하버드] 확률론 기초: Statistics 110 (Prof. Joe Blitzstein) 강의 내용을 바탕으로 작성되었습니다. (https://www.edwith.org/ai152)

[하버드 확률론 기초 : Statistics 110] 1강 - 확률과 셈 원리 (Probability and Counting)
본 포스트의 학습 내용은 boostcourse 내의 [하버드] 확률론 기초: Statistics 110 (Prof. Joe Blitzstein) 강의 내용을 바탕으로 작성되었습니다.
선형 회귀의 잠재적 문제
선형회귀모델을 다은과 같은 특정 자료에 적합할 때 많은 문제가 발생한다.1\. 반응변수-설명변수 상관관계의 비선형성2\. 오차항들의 상관성3\. 오차항의 상수가 아닌 분산4\. 이상치5\. 레버리지가 높은(영향력이 큰) 관측치6\. 공선성선형회귀모델의 기본 가정은 반응
선형판별분석 Linear Discriminant Analysis (작성중)
로지스틱 회귀(logistic regression)선형판별분석(linear discriminant analysis)K-최근접이웃(k-nearest neighbor hood)일반화가법모델(generalized additive model)트리(tree)랜덤포레스트(rand

04 분류 classification
분류기classifiers 질적 반응변수를 예측하는데 사용될 수 있는 분류기는 아래와 같은 기법이 있다. 로지스틱 회귀(logistic regression) 선형판별분석(linear discriminant analysis) K-최근접이웃(k-nearest neig
[확률통계] 확률론 기초 및 확률 분포
무작위성(Randomness)은 우리 주변에 있다.확률론(Probability)은 우연한 사건을 논리적으로 분석할 수 있게 한다.확률은 특정 사건이 발생할 것 같음을 숫자로 나타낸다.이 숫자는 0과 1 사이이다.0은 불확실함, 1은 확실함을 나타낸다.동전 던지기가 가장

Bayesian statistics overview
Basic concepts of bayesian statistics: prior, likelihood, and posterior
[Introduction to Statistics] Descriptive statistics and visualization
Introduction to Statistics, week1 : Descriptive Statistics and Visualizing Information
degree of freedom
degree of freedom wiki통계 에서 자유도 수 는 통계 의 최종 계산에서 자유롭게 변할 수 있는 값의 수입니다. 1통계적 매개변수 의 추정은 정보 또는 데이터의 다양한 양을 기반으로 할 수 있습니다. 매개변수 추정에 들어가는 독립적인 정보의 수를 자유도라
Linear Regression
linear regression wikiin statistics, linear correlation of independent variables;x and dependent variables;y modeling . if x has multi values, then mu
Statistics
통계학은 산술적 방법을 기초로 하여, 주로 다량의 데이터를 관찰하고 정리 및 분석하는 방법을 연구하는 수학의 한 분야이다. introduction 통계학은 관찰 및 조사로 얻을 수 있는 데이터로부터, 수학의 기법을 이용해 수치상의 성질, 규칙성 또는 불규칙성을 찾아낸
Exchangeability
인과추론에서 exchangeability (교환가능성)treatment $A$와 outcome $Y$ 사이의 관계에 관심이 있는 경우$A$와 $Y$는 모두 binary라고 가정$A=0$이면 treatment를 받지 않은 경우(unexposed), $A = 1$이면 tr