[AI] 데이터 로더

데이터 로더 어떻게 만들까?
1. 가지고 있는 데이터의 형식과 양, 프레임워크에 따라 다름
2. 데이터가 아주 작은 경우 전체를 메모리에 올려서 접근함

좋은 데이터로더?

• 여러 파일로 쪼개서 저장 읽기 가능
• 간단한 key val 구조
• lazy data loading
• io 병목을 막는 데이터 캐시
• 데이터 custom transform을 유연하게 적용하는 기능