📒 Spark(18)

📌 Caching과 Persist

Caching

• 자주 사용되는 데이터프레임을 메모리에 유지하여 처리속도가 증가한다.

  • 단 그 데이터프레임이 정말 메모리에 있는지 확인이 필요하다.
  • 어떤 경우에는 다시 계산하는 것이 빠를 수도 있다.

• 단 메모리 소비를 늘리므로 불필요하게 모든걸 캐싱할 필요는 없다.

어떻게 DataFrame을 Caching하는가

• 두 가지 방법이 존재한다.

  • cache()
  • persist()

• 두 가지 모두 데이터 프레임을 Memory/Disk/Off Heap에 보존한다.

  • 모두 Lazy execution - 필요해지기 전까지 캐싱하지 않는다.
  • caching은 항상 파티션 단위로 메모리에 보존한다.
    -> 하나의 파티션이 부분적으로 caching되지는 않는다.

Persist

• persist는 인자를 통해 세부 제어가 가능하다.

• useDisk = True

• useMemory = True

• useOffHeap = False
  -> off Heap 설정이 필요하다.

• deserialized = False

  • 메모리를 줄일지 아니면 CPU 계산을 줄일지 -> CPU 계산을 줄인다.
  • deserialized = True는 메모리에서만 가능하다.

• replication = 1
  -> 몇 개의 복사본을 서로 다른 executor에 저장할지 결정한다.

• persist의 인자로 자주 사용되는 조합은 하나의 상수로 지정 가능하다.

  • DISK_ONLY
  • MEMORY_ONLY
  • MEMORY_AND_DISK
  • MEMORY_ONLY_SER
  • MEMORY_AND_DISK_SER
  • OFF_HEAP
  • MEMORY_ONLY_2
  • MEMORY_ONLY_3

• persist는 기본적으로 caching되는 데이터프레임을 메모리와 디스크에 보관하고 복제도 수행한다.

• cache는 persist의 다음 버전이다.

  • disk = False
  • memory=True
  • offHeap=False
  • deserialized=True
  • replication=1

Caching

• Spark SQL을 사용한 Caching

  • spark.sql("cache table table_name")
  • spark.sql("cache lazy table table_name")
  • spark.sql("uncache table table_name")

• Caching을 취소하는 방법은?

  • DataFrame.unpersist(LRU - Least Recently Used)
  • spark.sql("uncache table table_name")
  • spark.catalog.isCached("table_name")
  • spark.catalog.clearCache()

Caching 관련 Best Practices

• 캐싱된 데이터 프레임이 재사용되는 것을 분명하게 하기

  • cachedDF = df.cache()
  • cachedDF.select(...)

• 컬럼이 많다면 정말 필요한 컬럼만 캐싱

  • cachedDF = df.select(col1, col2, col3, col4).cache()

• 불필요할 때 uncache

• 때로는 매번 새로운 데이터프레임을 계산하는 것이 캐싱보다 빠를 수 있다.

  • 이는 큰 데이터셋이 Paruet와 같은 포맷으로 존재하는 경우
  • 소수의 데이터 프레임만 캐싱한다.
  • 큰 데이터프레임의 캐싱은 하지 말것.
  • 캐싱을 너무 믿지 말것.

📌 Dynamic Partition Pruning

Filter(Predicate) Pushdown

• 데이터 소스에서 읽어들일 때 필터링을 적용해 읽는 데이터를 최소화한다.
• 특정 데이터 소스에만 사용가능(PARQUET - 컬럼 통계 정보가 있는 경우)

Partition Pruning

• 최적화 방식의 일종이다.
• Optimizer가 정말 필요한 데이터와 불필요한 데이터를 구별하여 읽는 것이다.
  

Static Partition Pruning

• 데이터소스가 필터링 컬럼을 중심으로 Partitioning되어 있는 경우
  

Partition Pruning과 Execution Plan

• Partition Pruning은 Logical Plan Optimization 단계에서 발생한다.

Static Partition Pruning의 문제

• Partitioning은 보통 큰 테이블에 적용되어 있다. -> Fack 테이블
  

• Fact 테이블과 Dimension 테이블 조인시 필터링이 Dimension 테이블에 적용 되어있다면?
  

Dynamic Partition Pruning이란

• 비 Partition 테이블에 적용된 필터링을 Partition테이블에 적용해보는 것
• 후자가 작은 Dimension 테이블이라면 브로드캐스트 조인까지 하면 더욱 좋다.