tf.data API에서 "캐싱(caching)"과 "프리페칭(prefetching)"은 데이터 입력 파이프라인의 성능을 최적화하는 두 가지 중요한 기술입니다. 이러한 기법들은 데이터 로딩과 전처리 과정에서 발생할 수 있는 병목 현상을 줄이고, GPU나 TPU와 같은 컴퓨팅 자원의 유휴 시간을 최소화하여 전체 모델 훈련 시간을 단축시키는 데 도움이 됩니다.
캐싱(Caching)
캐싱은 데이터셋의 일부 또는 전체를 메모리 또는 로컬 스토리지에 저장하는 과정입니다. 한 번 계산된 데이터셋의 요소들을 캐시에 저장함으로써, 다음 에포크(epoch)에서 데이터를 재사용할 때 데이터 로딩 및 전처리 과정을 건너뛸 수 있습니다. 이는 특히 데이터 전처리 비용이 높거나 데이터셋을 여러 번 반복해서 사용할 때 유용합니다.
tf.data.Dataset.cache 메서드를 사용하여 캐싱을 적용할 수 있습니다. 파일 경로를 인자로 제공하지 않으면 데이터는 메모리에 캐시됩니다. 파일 경로를 제공하면 해당 파일에 데이터가 캐시됩니다.
dataset = dataset.cache() # 메모리에 캐싱
# 또는
dataset = dataset.cache(filename='/path/to/cache/file') # 파일에 캐싱프리페칭(Prefetching)
프리페칭은 현재 처리 중인 배치를 모델이 학습하는 동안 다음 배치를 미리 준비하는 기술입니다. 이로 인해 데이터 로딩 시간과 모델 학습 시간이 겹쳐짐으로써, GPU나 TPU와 같은 컴퓨팅 자원이 데이터를 기다리는 시간 없이 연속적으로 작업을 수행할 수 있습니다.
tf.data.Dataset.prefetch 메서드를 사용하여 프리페칭을 적용할 수 있습니다. 이 메서드는 프리페치할 배치의 수를 인자로 받으며, tf.data.AUTOTUNE을 사용하여 TensorFlow가 실행 시점에 자동으로 최적의 프리페칭 크기를 결정하도록 할 수도 있습니다.
dataset = dataset.prefetch(buffer_size=tf.data.AUTOTUNE)캐싱과 프리페칭의 조합
캐싱과 프리페칭을 함께 사용하면 데이터 입력 파이프라인의 성능을 대폭 향상시킬 수 있습니다. 일반적으로 데이터셋에 먼저 캐싱을 적용한 후, 프리페칭을 적용하는 순서로 구성합니다.
dataset = dataset.cache()
dataset = dataset.prefetch(buffer_size=tf.data.AUTOTUNE)이러한 최적화 기법들을 적용함으로써, 데이터 로딩 및 전처리에 소요되는 시간을 줄이고, 모델 훈련 과정에서 컴퓨팅 자원의 활용도를 최대화할 수 있습니다.
