Pyspark로 데이터 분석시 자주 사용하는 코드에 대하여 정리해 보았습니다.

dataset 라이브러리로 데이터베이스에 저장된 데이터 다루는 방법 총정리!

dataclass 데코레이터를 활용한 간결한 python Class 개발방법 정리!

구글 클라우드의 VPC 기본 리소스들에 대하여 알아보고 실습으로 이해해본다.

Google Cloud의 IAM 및 Service Account에 대한 역할 부여에 대하여 알아본다.

MLflow를 통한 학습 내역 로깅부터 모델 저장 및 불러오기.

Optuna 라이브러리를 활용한 효율적인 하이퍼파라미터 튜닝 방법

Google Cloud Platform 에서 Compute Engine을 한 대 빌려 VSCode의 RemoteSSH를 통해 접속하는 방법

Kafka 데이터를 Spark Streaming으로 실시간 처리

🔹 0. INTRO AWS S3는 거의 무제한의 저장 용량을 제공하며, 이를 통해 대규모 데이터를 저장하고 관리할 수 있어 Data Lake, Data Warehouse, Data Mart 등 다양한 티어의 데이터들을 저장하는 저장소로 활용하기 적합합니다. AWS

Grafana Loki Stack을 쿠버네티스 클러스터에 설치하기!

Spark File Streaming

0. INTRO Spark History Server는 Spark 작업의 실행 이력을 시각적으로 추적하고 분석할 수 있는 필수 도구이다. UI에는 작업의 실행 시간, 자원 사용량, 작업의 내부 Flow, 에러 로그 등이 포함되어 있어 작업자가 실행한 Spark 작업의 성능 및 실행 상태를 손쉽게 파악할 수 있기 때문에 작업과 함께 중간중간 살펴본다면 굉장히...

0. INTRO Glue Job으로 Spark 스크립트를 작성하게되면 Glue Job 관련된 다른 import들을 함께 해주어야 한다. 예를 들자면 아래와 같은 것들이다. 이러한 import들 때문에 Glue Job에 사용할 Script를 개발할 때 AWS 콘솔에서 작업하게되는 경우가 많다. 물론 콘솔에서 작업하게되면 Glue Studio라는 아주 편리한...

CloudFormation을 통한 Spark History Server 생성으로 Glue Job에 대한 내용을 web UI로 확인하기

atlassian-python-api를 활용하여 Jira에 Issue 및 Comment를 등록해보자!

python kubernetes API로 kubernets 리소스를 다뤄보자!

Kubernetes Job에 대한 관리를 도와주는 Furiko 사용기!

0. INTRO 쿼리를 하다보면 분명 문법에 맞게 쿼리를 잘 짰는데 계속 에러가 나는 경우가 있다. 물론 여러가지 경우의 수가 있겠지만 그 중 한 가지는 order, group, explain 등 SQL 문법에서 사용되는 단어 즉, SQL 예약어와 컬럼 혹은 테이블의

pandas DataFrame을 S3에 다이렉트로 저장해보자!