Rust, Kubernetes, Palantir Foundry를 활용한 데이터 엔지니어링 프로젝트

프로젝트 개요
시작한 이유: 모든 걸 블록체인으로 대체할 수는 없지만, 효율성(비용), 신뢰성(데이터 무결성)을 달성하기 위해
블록체인 원장에서 실시간 데이터를 수집
데이터 정제 & 저장
AI 기반 분석 모델을 통해 인사이트 도출
하는 구조를 만들어본다.
목표: 블록체인 & 위성 데이터 ETL + AI 분석
사용 기술: Rust, Kafka, Kubernetes, Palantir Foundry, Grafana, Prometheus

cd FoundryChainETL

# create working directories
mkdir src data config logs scripts tests

# initialize Rust project
cargo init --bin

# add config files
touch README.md .gitignore Dockerfile docker-compose.yml

Cargo.toml dependencies

[dependencies]
tokio = { version = "1", features = ["full"] }  # async
reqwest = { version = "0.11", features = ["json"] }  # HTTP request
serde = { version = "1", features = ["derive"] }  # JSON serialization/unserialization
serde_json = "1"
chrono = "0.4"  # date / time process
log = "0.4"  # logging
env_logger = "0.10"  # env logging

cargo build # install packages

📌 블로그 내용 구성 (목차)
1. 프로젝트 개요 & 목표
프로젝트 배경: 왜 이 프로젝트를 시작했는가?
사용 기술: Rust, Foundry, Grafana, Kubernetes 등
목표: 블록체인 & 위성 데이터 ETL + AI 분석
2. 환경 구축 & 초기 설정
폴더 구조 (FoundryChainETL/ 생성)
Rust 프로젝트 초기화 (cargo init)
기본 의존성 추가 (tokio, reqwest, serde)
3. 블록체인 데이터 수집 (Rust ETL 구축)
API 호출 (reqwest 사용)
JSON 파싱 (serde_json)
데이터 저장 방식 (PostgreSQL vs Snowflake)
4. 위성 데이터 수집 및 AI 분석 연계
위성 데이터 소스 (NASA API 등)
AI 모델(RAG, ResNet50) 적용 계획
Foundry를 활용한 데이터 통합
5. 인프라 구성: Kubernetes, Docker, Monitoring
Grafana + Prometheus 모니터링 구축
Kubernetes 클러스터 설정
Terraform을 활용한 자동화
6. CI/CD 적용 및 운영 테스트
GitHub Actions / GitLab CI 설정
데이터 스트리밍 테스트 (Kafka 연계)
부하 테스트 & SLA/SLO 기준 정리
7. 프로젝트 결과 & 배운 점
실제 실행 결과
기술 스택 선택 이유 (대체 기술과 비교 분석)
Palantir Foundry 적용 효과 & 활용법
이 경험이 데이터 엔지니어 취업에 어떤 도움이 되는가?