CPU vs GPU 메모리구조

1. CPU vs GPU 메모리 구조

1. CPU:

   • 캐시 메모리: CPU는 L1, L2, L3 캐시를 통해 빠른 데이터 접근을 지원하며, 이는 메모리 접근 속도를 높여준다.
   • 직렬 처리: CPU는 적은 수의 강력한 코어로 구성되어 있어, 복잡한 작업을 순차적으로 처리하는 데 적합하다.

2. GPU:

   • 병렬 처리: GPU는 수천 개의 작은 코어로 구성되어 있으며, 대량의 데이터를 병렬로 처리하는 데 최적화되어 있다.
   • 메모리 대역폭: GPU는 대용량의 메모리 대역폭을 가지고 있지만, 메모리 레이턴시가 높아 랜덤 액세스가 느릴 수 있다.

2. 랜덤 액세스의 개념과 CPU, GPU에서의 차이

• 랜덤 액세스란 메모리에서 특정 위치에 접근하는 데 걸리는 시간이 일정한 방식을 말한다.
  CPU의 캐시 메모리의 경우에 이러한 랜덤 액세스를 빠르게 처리할 수 있도록 설계되어 있으나,
  GPU는 병렬 처리를 위한 구조로 인해, 특정 위치에 대한 빠른 접근보다는 대량의 데이터를 한 번에 처리하는 데 더 적합하게 되어있어서
  GPU에서의 랜덤 액세스는 CPU보다 시간이 더 걸릴 수 있다.

• 이러한 구조적 차이 때문에 GPU를 사용할 때 메모리 랜덤 액세스 시간은 CPU보다 느릴 수도 있으며 또한 항상 빠르지 않을 수도 있다.

• 이것이 GPU의 약점이다 라기 보다는, GPU는 병렬 연산에 강점을 가지고 그를 위해 설계되었지만, CPU는 순차적 연산처리에 특화된 구조로 설계되었기에 그 구조 목적이 다르기에 나타나는 특성이라고 할 수 있다.

메모리 레이턴시란?
momory latency란 메모리에 데이터를 요청한 후에 그 데이터가 실제로 처리되어 반환될 때까지 걸리는 시간을 의미한다. 이 시간은 메모리의 성능을 나타내는 중요한 지표로, 레이턴시가 낮을수록 메모리 응답 속도가 빠르다.