💿 KAIST:PINTOS | Concept | Cache

🚀 캐시가 필요한 이유

CPU는 빠르고 메모리는 느리다.
이 속도 차이는 100배 이상 나기도 한다.
따라서 병목현상이 일어난다.

🎯 예시

• CPU는 1ns 단위로 연산함
• 메모리는 100ns~200ns 걸림

→ CPU가 데이터를 기다리는 동안 놀고 있게 된다.

그래서 등장한 것이 Cache(캐시).
자주 쓰는 데이터를 메모리에서 미리 가져와 CPU 가까이에 저장해두는 장치다.

---

🏗️ 캐시의 계층 구조

캐시는 성능과 비용에 따라 다음처럼 다층 구조로 설계된다.

계층	위치	용량	속도	특징
L1	CPU Core 내부	수십 KB	🟢 가장 빠름	데이터/명령어 분리
L2	CPU Core 내부	수백 KB	🟡 빠름	통합 캐시
L3	CPU 전체 공유	수 MB	🔵 느림	모든 코어가 공유

→ L1은 작지만 속도가 매우 빠르고, L3는 느리지만 여러 스레드가 공유한다.

---

🧬 캐시의 작동 원리

📌 Locality of Reference (지역성)

캐시는 "우리는 자주 쓰는 데이터만 자주 쓴다"는 전제를 바탕으로 한다.

지역성 종류	설명	예시
Temporal Locality	최근 사용한 데이터를 또 사용할 가능성	루프 변수, 조건 카운터
Spatial Locality	근처의 데이터를 함께 사용할 가능성	배열 접근, 함수 스택 프레임

→ 그래서 캐시는 "사용한 값만 저장"하지 않고, 주변 값까지 미리 가져온다(prefetching).

---

📌 캐시 동작 흐름

1. CPU가 주소 A를 읽으려 한다.

2. 캐시에서 A가 존재하는지 확인한다.

   • 있으면 Cache Hit → 바로 반환 (1~3 cycle)
   • 없으면 Cache Miss → 메모리에서 가져와 캐시에 저장 후 반환 (수백 cycle)

3. 캐시의 크기가 작기 때문에, 일정 정책에 따라 기존 데이터와 교체(eviction)한다.

---

💥 Cache Miss 종류

종류	설명	발생 원인
Cold Miss	처음 접근하는 데이터	아직 캐시에 없음
Capacity Miss	캐시 공간이 부족함	데이터가 너무 많음
Conflict Miss	캐시의 특정 슬롯에 충돌	Set-associative 구조 한계

특히 Conflict Miss는 배열의 stride 접근 등에서 자주 발생하며, 고급 성능 튜닝의 핵심이다.

---

🧠 CPU 내부에서 캐시가 하는 일

• 명령어 캐시 (I-Cache): 실행할 명령어를 저장
• 데이터 캐시 (D-Cache): 연산에 필요한 데이터 저장
• TLB (Translation Lookaside Buffer): 가상 주소 → 물리 주소 매핑 결과 저장 (가상 메모리 캐시의 일종)

💡 캐시는 데이터만 저장하는 게 아니라, 주소 변환 결과도 저장함으로써 메모리 접근 전체를 빠르게 만든다.

---

📦 PintOS와 캐시의 관계

PintOS는 직접 CPU 캐시를 제어하지는 않지만, 다음 상황에서 캐시의 개념을 이해하고 있어야 한다.

---

1. 🧪 성능 실험 해석

• 데이터 구조 (ex. Red-Black Tree vs B-Tree)에서 접근 패턴이 다르면 캐시 효율도 달라진다.
• 예: B-Tree는 fewer but wider node를 갖기 때문에 캐시 적중률을 고려한 설계임
• PintOS 프로젝트에서 실험을 할 때 캐시를 이해하지 못하면 왜 이 구조가 빠른지 알 수 없다.

---

2. 🔄 컨텍스트 스위칭

• 스레드 전환 시, 이전 스레드가 쓰던 캐시 데이터는 의미 없음
• 새 스레드는 자신의 데이터가 캐시에 없기 때문에, 캐시 미스가 빈번히 발생
• → 문맥 전환이 많아질수록 캐시 효율이 떨어진다

---

3. 📚 페이지 테이블 & TLB와의 관계

• 가상 메모리 구현 시, 가상 주소를 물리 주소로 매핑해야 함
• 매번 페이지 테이블을 참조하면 느리기 때문에, TLB라는 주소 매핑 캐시를 사용
• PintOS Project 3~4에서 TLB miss, page fault 등의 개념은 Cache miss와 완전히 동일한 맥락이다

---

⚔️ 캐시 vs 메모리 vs 디스크 비교

계층	예시	속도 (cycle)	설명
Register	rax, rsp	1	CPU 내부, 가장 빠름
L1 Cache	CPU Core 내부	3~4	초고속 캐시
L2 Cache	Core 내부	10~15	조금 느림
L3 Cache	Socket 공유	30~50	여러 코어 공유
DRAM	메인 메모리	100~300	외부 메모리
SSD	NVMe 등	10,000~1,000,000+	비휘발성 저장소

📉 캐시를 잘 활용하지 못하면, 메모리 접근이 병목이 된다.

---

📘 마무리 요약

• Cache는 CPU와 메모리 사이 속도 차이를 완화하는 초고속 중간 저장소다.
• 지역성(locality)을 기반으로 작동하며, 캐시 히트율이 높을수록 프로그램은 빠르게 작동한다.
• PintOS는 캐시를 직접 제어하진 않지만, 스레드 스위칭, 시스템 호출, 메모리 구조의 성능 해석에서 반드시 이 개념을 이해하고 있어야 한다.
• 가상 메모리의 TLB, 페이지 폴트, 페이지 교체 등의 구조는 사실상 캐시의 연장선이다.