개요
- AI 모델이 학습할 데이터가 저장되어 있는 공간
- RAW 데이터에서 Feature Engineering에 의해 나온 Feature를 저장해 놓은 것
- Data Engineering와 Data Scientist의 업무를 매게해주는 중앙장치의 개념
Feature Store는 모델이 실질적으로 학습할 데이터들이 저장되어있는 공간이다.
데이터 엔지니어가 RAW데이터를 수집 및 Feature Engineering이 진행된 Feature들은
Feature Store에 저장된다.
데이터가 저장되있는 공간이라 Data Warehouse와 혼동될 수 있다.
두 개념은 데이터를 보관하고 있다는 것은 동일 하지만 보관하고 있는 데이터의 쓰이는 목적에 따라 차이가 있다.
Data Warehouse와의 차이점
Feature Store
- AI 모델 개발에 사용
- 검증 작업 진행 O
Data Warehouse
- 대시보드, 리포팅, 분석에 사용
- 검증 작업 진행 X
과 같은 차이가 있다고 한다.
Online/Offline 저장소
Feature Store는 Online, Offline 2가지 저장소 영역을 가진다.
-
Online 에서의 Feature Store는 운영에 적용된 모델 추론에 쓰이는 용.
-
Offline 에서의 Feature Store는 모델 학습에 쓰이는 Train데이터 용.
이와 같이 Feature Store는 운영 환경이 나뉘어져 있기 때문에 두 저장소 사이의 일관성을 유지하는 것이 중요하다.
그렇기에 주기적으로 두 저장소 사이의 데이터를 갱신해주어야한다.
Low Latency
Feature Store는 비관계형 데이터 베이스환경(Mysql Cluster, Cassandra, Redis)에서 사용되기에 low latency(낮은 지연율)를 통해 배포된 모델의 빠른 응답 속도를 보장한다.
Reference
집중집중