프로젝트 : 데이터 웨어하우스를 이용한 대시보드 구성
Day 36(2023. 12. 04.)
주제 선정 및 역할 분담
주제 : 농산물 가격 데이터를 통한 물가 변동 조회
전체적인 구상 : API(+크롤링) -> S3 -> Redshift -> Superset
기능 : 가격 등락률 + (날씨 정보) 조회
역할 분담
데이터 수집 : 이재호님
AWS 설정 : 주재민(나), 조성재님
Superset 데이터 프로세스 : 권예은남
Superset 대시보드 : 김민회님
AWS에 관해서 맡기로 했다. S3 버킷을 만들고 재호님이 넘겨준 데이터를 적재하고 성재님 Redshift에 연동해야한다.
실습에서는 혼자서 하는게 다였지만 다른 계정과 연동하는 거는 해본적이 없다. 여기저기 찾아보고 해봐야겠다.
Day 37(2023. 12. 05.)
재호님이 추출하신 데이터를 내가 만든 버킷에 업로드한다.
단순히 받아서 업로드하는게 아니라 재호님이 해당 코드를 작성하셨고 나는 이를 위해 IAM 사용자를 생성하고 액세스 키와 시크릿 키를 생성해 드렸다.
성공적으로 적재가 되는 것을 확인했다. 데이터 웨어하우스는 Rednshift에서 Snowflake로 노선을 변경하였다. 이제 연동해서 S3에 있는 데이터를 Snowflake에서 접근 가능하게 해야한다. 최종적으로는 자동적으로 적재할 수 있도록 만들고 싶다.
Day 38(2023. 12. 06.)
S3에 붙어있어봤자 당장 할 것 없어서 다른 파트를 도와줘야겠다.
Day 39(2023. 12. 07.)
어제 Snowflake와 Superset 연동하는 법을 찾아서 이것저것 해봤는데 여러모로 에러가 떴다.
snowflake-sqlalchemy, snowflake-connector-python이 제대로 설치가 되지 않았던 탓일까? 이 후에 연결이 됐다.
Day 40(2023. 12. 08.)
프로젝트 마지막 날이다. 이제 전체적으로 갈무리하고 결과물 보고서, ppt, github 업로드, 영상 제작정도 하면 되겠다. 나는 ppt를 만들기로 했다.
