캐시는 자주 사용하는 데이터를 기존 저장소보다 더 빠르게 접근할 수 있도록 저장해두는 공간이다. 캐시는 데이터에 접근하는 속도는 높여주고 비용은 낮춰주는 테크닉이기 때문에 많은 곳에서 사용된다. 대표적으로 메모리 계층에서 사용된다.
메모리 계층을 예로 들면 CPU가 연산을 마치고 다음 연산을 위해서 캐시에 데이터를 요청했을 때 캐시가 데이터를 들고있는 경우 hit했다고 표현한다. 반대로 캐시에 데이터가 없는 경우 miss했다고 표현한다. miss하면 캐시 하위 계층에 데이터를 요청해야 하기 때문에 시간이 더 걸린다. 성능을 위해서 hit은 많을 수록, miss는 적을 수록 좋다.