통계학은 아래와 같이 기술통계와 추론통계로 나눠지고, 또 추론통계는 통계적 추론과 가설검정으로 나뉜다.
기술통계는 수집한 데이터를 정리하고 요약하는 방법을 의미한다. 기술통계를 통해 데이터의 특징과 경향을 알아낼 수 있다. 데이터의 요약 방법은 평균, 분산, 4분위수, 최빈값, 중위수 등이 있다.
추론통계는 수집한 데이터로부터 데이터의 발생원을 추정하는 방법이다, 추론통계에서 관심있게 보는 점은 관측한 데이터 자체가 아니라 그 데이터의 발생원인이다.
데이터의 발생원인을 추정할 때에는 관측된 데이터가 어떤 법칙에 따라 발생했다고 가정한다. 사건마다 이 법칙은 다르다. 통계학에서는 이런 법칙을 확률 모형이라고 한다. 예를 들면 주사위를 던지는 사건에서는 1에서 6까지 눈이 나올 확률은 각각 1/6이라는 확률 모형에 기반하여 사건이 발생할 확률을 판단한다.
추론통계의 주요 방법론 중 하나가 통계적 추론이다. 통계적 추론은 관측한 데이터로부터 확률 모형의 성질을 추정하는 방법이다. 새로운 사건에 대해 특정 사건이 발생할 확률을 추정하는 확률모형을 알아내는 것이다.
추론통계의 주요 방법론 중 다른 하나는 가설검정이다. 가설검정은 어떤 사건에 대해 가설을 세우고, 관측된 데이터로 가설을 평가하는 방법이다.