TFRecord File

❤️ TFRecord File이란?

Tensorflow의 학습 데이터 포맷의 하나

• binary 형식으로 data 저장하기 위한 용도의 파일 형식

• Google의 Protocol Buffer와 같은 포맷으로 데이터를 파일에
  Serialization하여 저장

  • Serialization : 객체 또는 데이터를 byte 형태로 변환하는 것
  • pickle의 경우에도 파이썬 객체 Serialization를 이용 !!

💛 TFRecord File을 사용하는 이유?

1. 속도의 증가
   • 이미지가 Encoding되어 있는 상황인데, 읽어들이려면 Decoding 과정을 거쳐한다.
   • TFRecord의 경우에는 메타 정보가 빠져 있는 binary 형태의 Data 포맷으로 이러한 불필요한 구조가 빠져 있음
2. 적은 용량

• 이미지의 경우에는 원본 이미지를 전부를 관리하는 부담이 존재
• TFRecord는 대용량의 데이터들에 대한 정보를 간소화 작성해서 가지고 있음

3. 쉬운 관리
   • 대부분의 학습 파일이 <데이터, 라벨> 이런 식으로 존재하며, 두 가지가 다른 파일에 존재를 하게됨 ➡️ 매칭 필요
   • 하지만 TFRecord의 경우에는 데이터, label을 하나의 파일에 함께 관리가 가능