- 전체보기(86)
- aws(25)
- python(18)
- kubernetes(16)
- spark(16)
- 네이버 클라우드 플랫폼(15)
- Naver Cloud Platform(15)
- 쿠버네티스(12)
- docker(8)
- lambda(8)
- EMR(7)
- NKS(6)
- eks(5)
- GCP(5)
- emr on eks(5)
- ec2(4)
- Lambda url(3)
- linux(3)
- 자격증(3)
- airflow(3)
- Database(3)
- ubuntu(2)
- helm(2)
- shell script(2)
- vpc(2)
- GLUE(2)
- Google Cloud Platform(2)
- 데이터분석(2)
- AWS CDK(2)
- Trino(2)
- Naver Cloud Platofrm(1)
- Spark Streaming(1)
- hive(1)
- step functions(1)
- error(1)
- ssh(1)
- PostgresSQL(1)
- polars(1)
- Optuna(1)
- SQLAlchemy(1)
- mysql(1)
- CloudTrail(1)
- microk8s(1)
- 2023(1)
- kafka(1)
- github(1)
- DCA(1)
- furiko(1)
- pyspark(1)
- data(1)
- 데이터시각화(1)
- pandas(1)
- devops(1)
- ncp(1)
- computeengine(1)
- Severless(1)
- 도커(1)
- lake formation(1)
- dockerfile(1)
- Grafana Loki(1)
- 회고(1)
- BigQuery(1)
- sql(1)
- ORM(1)
- scala(1)
- assume role(1)
- DNS(1)
- NAS(1)
- GitLab(1)
- IAM(1)
- dataset(1)
- serverless(1)
- SQS(1)
- MLflow(1)
- dataclass(1)
- route53(1)
- quicksight(1)
- dotenv(1)
Docker Network들에 대해 실습과 함께 알아보자!(Bridge, Host, None)
Docker의 Bridge, Host, None 네트워크에 대하여 알아보고 실습까지 진행해봅시다!
[Airflow] Docker-Compose Airflow 시스템에 외부 패키지 추가하기!
Docker Compose로 구축된 Airflow 시스템에 외부 패키지 추가 설치하기!
[Spark] Spark로 Google Cloud Storage 데이터 읽어오기!
0. INTRO 대규모 데이터를 클라우드 객체 저장소에 보관한 뒤 Spark를 활용해 분석하는 방식은 이제 데이터 분석의 대표적인 사례로 자리 잡았습니다. 특히, 클라우드 서비스 환경에서는 Spark와 객체 저장소 간의 통합이 이미 기본적으로 설정된 경우가 많아, 별다른 추가 설정 없이 바로 사용할 수 있는 편리함이 있습니다. 그러나 로컬 환경에서 Spar...
[Polars 총정리 2부_심화] Polars로 데이터 분석을 더 빠르게!
python으로 Polars를 다룸에 있어 심화적인 기능들에 대하여 총정리! (SQLContext, LazyFrame 등)
[Polars 총정리 1부_기본] Polars로 데이터 분석을 더 빠르게!
Pandas 상위호환! Polars를 활용하여 데이터 분석에 필요한 기초적인 내용 총정리!
[Spark] 실무에서 바로 써먹는 PySpark 핵심 명령어 총정리
Pyspark로 데이터 분석시 자주 사용하는 코드에 대하여 정리해 보았습니다.
Python Dataset 라이브러리로 데이터베이스 작업을 간편하게! 활용법 총정리!
dataset 라이브러리로 데이터베이스에 저장된 데이터 다루는 방법 총정리!
dataclass 데코레이터를 활용한 python Class 개발하기
dataclass 데코레이터를 활용한 간결한 python Class 개발방법 정리!
[GCP] Google Cloud에서 Custom VPC 인프라 구성하기(subnet, router, NAT)
구글 클라우드의 VPC 기본 리소스들에 대하여 알아보고 실습으로 이해해본다.
[GCP] Google Cloud IAM 권한 설정 기초 및 실습
Google Cloud의 IAM 및 Service Account에 대한 역할 부여에 대하여 알아본다.
[GCP] Compute Engine 생성 후 VSCode를 통한 SSH 접속
Google Cloud Platform 에서 Compute Engine을 한 대 빌려 VSCode의 RemoteSSH를 통해 접속하는 방법
[Spark] Kafka를 통해 들어오는 데이터를 Spark Streaming을 통한 실시간 처리하기
Kafka 데이터를 Spark Streaming으로 실시간 처리
[Spark] Spark와 hadoop-aws 호환 버전에 따른 AWS S3와 통신할 수 있는 Spark Jupyter Lab Docker Image 구성하기
🔹 0. INTRO AWS S3는 거의 무제한의 저장 용량을 제공하며, 이를 통해 대규모 데이터를 저장하고 관리할 수 있어 Data Lake, Data Warehouse, Data Mart 등 다양한 티어의 데이터들을 저장하는 저장소로 활용하기 적합합니다. AWS
[Spark] Multi Node Spark Cluster에서 Spark Streaming을 통한 실시간 파일 처리
Spark File Streaming
[Spark] Spark History Server Log 경로 설정하기
0. INTRO Spark History Server는 Spark 작업의 실행 이력을 시각적으로 추적하고 분석할 수 있는 필수 도구이다. UI에는 작업의 실행 시간, 자원 사용량, 작업의 내부 Flow, 에러 로그 등이 포함되어 있어 작업자가 실행한 Spark 작업의 성능 및 실행 상태를 손쉽게 파악할 수 있기 때문에 작업과 함께 중간중간 살펴본다면 굉장히...
[AWS] AWS Glue Job을 On-Premise에서 개발해보자!
0. INTRO Glue Job으로 Spark 스크립트를 작성하게되면 Glue Job 관련된 다른 import들을 함께 해주어야 한다. 예를 들자면 아래와 같은 것들이다. 이러한 import들 때문에 Glue Job에 사용할 Script를 개발할 때 AWS 콘솔에서 작업하게되는 경우가 많다. 물론 콘솔에서 작업하게되면 Glue Studio라는 아주 편리한...