🌧️ 갓성비! 메모리 계층 Memory Hierarchy

메모리 계층을 단순화해서 정리해보았습니다. 잘못된 점이나 미흡한 부분은 댓글로 알려주시면 감사하겠습니다!!

---

컴퓨터는 이런 식으로 여러 메모리 계층으로 이루어져있다. 왜 이런 구조를 갖게 되었을까?

알다시피 CPU는 아주 빠른 속도로 연산을 한다. 하지만 CPU의 연산에 필요한 데이터는 메모리(메인)에 들어있다. CPU에서 데이터를 다 처리하고 다음 일을 하려면 메모리에 데이터를 요청해야 한다. 하지만 메모리가 필요한 데이터를 찾아서 CPU에게 전달하는 속도는 상대적으로 매우 느리다.

CPU가 어떤 작업을 수행하는 시간이 1초라고 가정하고 동일한 작업을 다른 하드웨어에서 하면 얼마나 걸리는지 비교하는 표다. 속도 차이가 매우 큰 것을 확인할 수 있다.

그래서 CPU가 아무리 빨라도 메모리가 그 속도를 따라가지 못하면 CPU의 빠른 속도는 무용지물이다. 그럼 메모리의 속도를 CPU만큼 빠르게 하면 되지 않을까?

그리고 여기서 현실적인 문제가 등장한다. 메모리는 속도가 빠를 수록 같은 용량 대비 비싸진다. 따라서 같은 가격의 메모리를 사용하면서 속도를 높이기 위해서는 용량이 줄어들 수 밖에 없다. 어떻게 용량도 크고 속도도 빠른 메모리를 가질 수 있을까?

메모리 계층은 이 문제를 해결하기 위해서 사용된다.

CPU와 메모리(메인) 사이에 메인보다 훨씬 빠르지만 용량도 훨씬 작은 캐시메모리를 추가한다. 이제 CPU는 필요한 데이터가 있을 때 메인에게 요청하지 않고 캐시메모리에게 요청한다. 그러면 캐시메모리가 메인에게 데이터를 전달 받고 다시 CPU에게 전달한다.

이런 의문이 들 수 있다. "아무리 캐시메모리 속도가 빨라도 어차피 메인에게 데이터를 요청해야하고 심지어 한 단계를 더 거치게 되는데 어떻게 성능이 향상되는 걸까?"

그 이유를 알기 위해서는 메모리의 지역성이라는 특성에 대해 알아야 한다. 간단히 설명하자면 프로그램에서 데이터를 사용할 때는 사용한 적 있는 데이터가 다시 사용될 확률이 높고, 사용된 데이터의 주변 데이터가 앞으로 사용될 확률이 높다.

이런 특성을 활용해서 캐시메모리는 메인메모리에게 데이터를 요청할 때 CPU가 필요한 부분 외에 그 주변 데이터까지 함께 요청한다. (아주 센스쟁이 😉)

이렇게 캐시메모리를 추가해서 계층 구조를 만들고 앞으로 CPU가 요청할 확률이 높은 데이터를 미리 확보해두면 이전보다 훨씬 더 빠르게 CPU에게 데이터를 전달할 수 있다. 용량은 그대론데 훨씬 적은 비용으로 속도가 빨라지는 효과를 거둘 수 있다. (갓성비...🌧️)

참고자료

• 코딩하는 거니 - RAM 램의 이중성(feat. 메모리 계층) 램의 특징과 역할
  
• 컴퓨터 구조 : 메모리 계층 구조 (이강 교수)