Data Lake
- 데이터 분석을 위해 모든 데이터를 한곳으로 모아 주는 중앙 집중식 저장소
AWS Lake Formation
- 데이터 레이크 생성을 쉽게 할 수 있도록 해주는 완전 관리형 서비스(몇 개월 -> 몇 일)
- 데이터 레이크에서 데이터를 검색, 정제, 변환, ingest할 수 있게 도와줌(모든 데이터 한 곳에서 처리 가능)
- 복잡한 수작업 자동화
- 데이터 수집, 정제, 카탈로깅, 복제
- ML 변환 기능 -> 중복 제거
- 정형 데이터 + 비정형 데이터
- out-of-the-box source blueprints
- 데이터를 데이터 레이크로 이전하는 것을 도와줌
- S3, RDS, 관계형 & NoSQL DB에서 지원
- 애플리케이션에서 행,열 수준의 세분화된 액세스 제어 가능
작동 방법
- AWS Glue 위에 빌드되는 계층이지만 직접적으로 상호작용 X -> Glue 기본 서비스 사용 ⭕
- S3에 저장되는 Data Lake의 생성을 도움
사용 이유
- 중앙화된 권한이 필요할 때
- 액세스 제어 기능
- 열 및 행 수준 보안
- 사용자들은 허용된 데이터에만 접근, 읽기 권한만 부여 ⭕
- 각각의 서비스들마다 보안 설정을 하는 건 복잡하고 번거로움 -> 한 번에 lake formation에서 관리
Cloud, DevOps