2. Day 5-2

data_hamster·2023년 5월 28일
0

학습주제
Superset 소개

학습내용

airflow 만든 회사에서 같이 만듦

소스코드는 깃허브에 있음

드랍박스 회사에서 데이터 explore 대시보드로 사용

preset으로 창업함 -> 이거가지고 어카운트 만들고 실습

Docker을 설치하고, superset 돌려봄


다양한 시각화만드는 방법이 직관적
차트를 쉽게 공유 가능
오픈소스라고 하기엔 보안, 권한 제어가 잘 만들어져 있음
데이터베이스 인터페이스를 SQLAlchemy와 연동
SQLAlchemy로 연동되는 데이터베이스라면 다 읽어옴
Druid (스트리밍 데이터) 실시간 데이터의 시각화
API 제공. 플러그인 아키텍쳐로 쉽게 확장

구조와 용어


파이썬을 만들어짐
맥심이 만든건 다 파이썬 기반
웹 인터페이스 자체는 리액트, 플라스크
sqlite를 메타데이터 DB로 쓰면 병렬성이 떨어져 사실상 못씀
Postgresql, mysql 설치해서 씀
Redis를 캐싱 레이어, 굉장히 짧은 인터벌. 쿼리를 보내면 레디스에 캐싱된 데이터를 바로 보냄
sqlalchemy 지원되는 데이터베이스면 ok

용어
Database/Dataset
Database == 관계형 데이터베이스 (드루이드, mysql, DB 엔진)
Dataset == 안의 테이블

Dashboard/Chart
사용자별로 다른 접근 권한을 줄 수 있음. 그룹을 안쓰고 역할

profile
반갑습니다 햄스터 좋아합니다

0개의 댓글