TIL

🍔오늘 할 일

• 머신러닝 학습 데이터를 타블로 대시보드에 활용하기

중간에 추가된 일
python-tableau 연결을 위한 데이터 파이프 라인 개설

중간에 취소된 일
python 라이브러리 tabpy 활용한 연결

🍟프로젝트 과정

프로젝트 (DB를 이용한 파이프 라인 개설)📊

머신러닝 학습데이터를 이용해 학생이 받을 예측점수를 추측하고, 그에 대한 피드백을 위한 페이지를 만들기 위해 python-tableau를 연동하기(DB활용법)

과정

1. Python에서 ML 모델 학습

   • 전처리를 완료한 데이터를 오토글루온을 이용해 적합한 모델과 인코딩을 자동으로 맞춰서 진행

2. Python에서 신규 데이터 입력 (새로운 학생)

   • csv파일을 하나 만들어 학습에 이용된 컬럼들과 동일한 시험용 자료를 임시로 만들었다.
     ※제작 파일 예시 : ..를 올릴려 했는데 velog 는 파일을 못올리는것 같다.(자꾸 이미지로 자동 치환되어 버린다.)

3. Python에서 신규 데이터 MySQL 업로드

   • 이 임시 파일을 파이선으로 가져와 학습시키고 그 결과를 DBeaver의 데이터베이스에 올린다.(데이터베이스는 공간은 준수 튜터님께서 제공 해주셨다.)

데이터를 python에서 DBeaver로 보내고 데이터를 입력하는 방법

• ※참고로 DBeaver를 통해 데이터베이스를 사용할 거라면, 사전에 매니저님이나 튜터님께 DB를 허가받아야 했다. 이게 싫다면 돈써서 자기DB를 사던지 해야한다.

4. Tableau에서 해당 데이터 불러오기

   • 타블로에서 게시된 데이터 원본 > 커넥터 > MySQL

     
     DBeaver의 연결한 데이터 베이스와 동일한 정보로 넣어준다.

     
     원하는 데이터베이스를 선택하고 게시를 선택하면 된다.
     
     이때 자격 증명 내장을 체크하면 해당 폴더내 편집권한이 있는 모든 이가 자동으로 데이터 접근이 가능해진다.

5. 시각화

   • 이제 시트를 만들고 데이터에 연결에 보면
     
     내가 추가한 데이터가 연동되어 선택목록에 뜬것을 볼수 있다. 이제 파이선에서 수정된 데이터가 실시간으로 넘어오게 된다.
   
   
   
   
   

꾸미지 않고 임시로 만들어본 성적 추측 지표📊

(0.5 이상이면 합격 그 미만이면 불합격)
(우측)필터를 통해 학생을 선택할 수 있다.
합격선 학생
불합격선 학생

사실 이번작업을 하게된 이유는 최종프로젝트에 앞서 라이브 데이터를 얻기 힘들기에 가상의 라이브데이터를 직접 보내서 라이브데이터를 다루는 분석을 하는데 도움이 될까하여 프로젝트 기간임에도 불구하고 파고들게 되었다. 다행히 중간에 폐기되지않고 유의미한 결과가 나와 이번 프로젝트에도 활용하기로 되었다.

번외 (폐기된 파이프 라인 방식 tabpy)📊

python 라이브러리인 tabpy를 활용한 방식이다. tabpy를 이용한 로컬호스트를 구축하여 python ->tableau 데스크탑 -> 클라우드 tableau로 연동하여 연결할 수 있다는 정보에 시도하려 한 방법이지만. 튜터님께서 이 방법이 익숙치 않아 하셔 폐기된 방법이다.

필요 라이브러리
pip install tabpy
pip install tabpy-client

명령프롬트창(cmd)를 켜고 tabpy를 입력해 로컬 서버를 활성화 한다(디폴트 포트는 9004)

접속 코드

from tabpy.tabpy_tools.client import Client
client = Client('http://localhost:9004')

접속 확인용 코드

print("Connected to TabPy:", client)

여기 까지 하고 연결된 것을 확인 하고 일단 멈추었다. 이후로 데이터를 주고 받는건 프로젝트 주간중이라 다음에 학습하기로 하였다.

🥤계획 및 회고

원래는 오늘 대시보드에 들어갔어야 하는데, 성능좋은 머신러닝 모델이 나와버려.. 이를 활용하자는 의견이 다수라 해당 모델을 담당한 나는 하루종일 공부하며 타블로와 연동하는 방법을 익히고 배웠다. 덕분에 주말에 쉬기보다 대시보드 공부를 해야 팀원들을 따라가게 되어 쉴틈이 없게 된듯하다. 하하하핳ㅎ 신난다!..🥴 거기다 사용하다 보니 벨로그는 마크다운 기반이라 그런가.. 파일첨부가 안되는것같다; 소현튜터님께 이를 상담해 보았으나.. 노션으로 갈아타는게 좋아 보인다는 해법을...😨 또 이사준비를 해야하나..????으으으윽 😭

내일 계획

• 알람끄고 일단 푹자기
• 기상 후 대시보드 복습과 머신러닝 활용 페이지 구상 생각해보기