데브코스 35일차 - Dashboard, Superset

대시보드 소개

• KPI(Key Performance Indicator) 지표를 데이터 기반으로 분석,표시 해주는 툴이다.

Looker

• 구글 클라우드에서 지원
• LookML이 자체 언어로 데이터 모델을 만드는 것으로 시작
• 외부 고객을 위한 대시보드도 작성 가능하다.
• 다양한 기능을 제공하나, 고가의 라이센스 정책이 있다.
• 수정이 상대적으로 쉽다.

Tableau

• 다양한 제품군, 일부는 무료제공
• 전문적인 인력이 필요할 만큼 배우기 위해서는 시간이 많이 들어간다.

ReDash

• 오픈소스로 시작
• Superset과 비슷하다. → Superset을 많이 사용한다.
  • 더 강력한 쿼리 에디터를 제공
  • 사용자 권한과 관련된 기능이 부족하다.

Mode Analytics

• SQL, R, Python을 기반으로 데이터 분석 가능
• EDA 툴에 가깝다.

---

Supserset

Superset이란

• 다양한 형태의 시각화와 손쉬운 인터페이스를 지원한다.
• 대시보드의 공유 지원
• SQLAlchemy와 연동된다.
• Druid.io와 연동해서 실시간 데이터의 시각화도 가능하다.
• API와 플러그인 아키텍처의 제공으로 확장성이 좋다.

Superset 구조와 용어

• Flask와 React JS 로 구성됨.
• sqlite를 메타데이터 데이터베이스로 사용한다. → 병렬성이 떨어지기 때문에 사용하지 않는다.
• Redis를 캐싱 레이어로 사용한다. → 같은 차트가 다시 쿼리되는 경우에 Redis에 캐싱된 데이터를 보여주게 된다.
• SqlAlchemy가 백엔드 DB 접근에 사용된다.
• 용어
  • Database/Dataset
    • Database : 관계형 데이터베이스
    • Dataset : 테이블
  • Dashboard/Chart
    • Dashboard는 하나 이상의 Chart로 구성된다.

Superset 설치

• Docker vs Prest.io
  • Docker : Superset 오픈소스를 그대로 쓰는 형태이다.
  • Prest.io : 회사 이메일이 있는 경우에만 사용가능하다.
  • 실습에서는 Docker를 활용해서 설치한다.

Docker 기반의 Superset 설치 (Windows)

: Windows에서는 공식적으로 지원하지 않아 WSL2를 활용하여 설치를 진행하였다.

• WSL2 설치는 다음 블로그를 참고하였다.
  : https://velog.io/@jskim/Windows%EC%97%90%EC%84%9C-Linux-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0-with-WSL2

• Docker 홈페이지에 들어가 Docker를 설치 후 WSL과 연동이 필요하다.
  1. 도커 설치 : https://www.docker.com/
  2. Ubuntu와 연결하기 : Settings > Resources > WSL integration에 들어가 활성화 시킬 ubuntu를 선택하고 적용한다.
  

• Superset 홈페이지에 나온 대로 동작을 수행한다. Windows에 맞춰서 수행해야한다.
  : https://superset.apache.org/docs/installation/installing-superset-using-docker-compose/

git checkout 3.0.0
set TAG=3.0.0
docker compose -f docker-compose-non-dev.yml pull
docker compose -f docker-compose-non-dev.yml up

참고) compose-up을 하였지만, 정상적으로 올라오지 않는경우

• npm 설치를 확인한다. 미설치의 경우 다음 명령어로 설치하면된다. sudo apt install npm
• docker-compose down -f 후 docker-compose up을 해본다.

설치가 완료되면 다음과 같은 화면이 출력된다.

Redshift 설정과 차트 생성하기

• Redshift 연결을 위해서는 DB Connection을 설정해주어야한다.
  Settings옆의 +를 누르고 Database Connections를 해서 추가하면된다.
  
  
• 차트 생성하기
  상단의 Chart 탭을 누르고 +Chart 버튼을 클릭한다. 원하는 dataset과 함께 차트의 타입을 골라 생성하기 버튼을 누른다.
  
• Superset의 차트 옵션
  • Big Number & with Trendline : 중요한 지표를 summery하는데 유용하다.(KPI)
  • Line, Dual line chart :
  • Pivot Table → cohort 차트 같은 것에 사용한다.
• 차트 생성 후 대시보드 구성하기
  : 차트 저장 시에 하단의 ADD TO DASHBOARD를 선택하고, SAVE하면 대시보드에 추가된다.