# data engineering

95개의 포스트

Spark On Kubernetes 시도

해당 문서는 시도해봤던 내용을 모두 정리하기 위해 작성된 문서이다

약 9시간 전
·
0개의 댓글
·
post-thumbnail

[2022 공간빅데이터 경진대회] 3-1. 침수예상도 업로드

소스 데이터 중 침수예상도 데이터를 업로드합니다.

어제
·
0개의 댓글
·
post-thumbnail

[2022 공간빅데이터 경진대회] 3-5. 토지 형상 업로드

구축된 데이터들을 연계하여 분석하는데 필요한 토지 형상 데이터를 업로드합니다.

2일 전
·
0개의 댓글
·

[2022 공간빅데이터 경진대회] 3-4. DEM(수치표고모델) 업로드

소스 데이터 중 DEM(수치표고모델) 데이터를 공간데이터(.shp)로 변형하여 업로드합니다.

3일 전
·
0개의 댓글
·
post-thumbnail

Spark on kubernetes

해당 문서는 Spark를 kubernetes에 올리는 내용을 정리하기 위해 작성된 문서이다.

4일 전
·
0개의 댓글
·
post-thumbnail

PrestoDB - Kubernetes

해당 문서는 PrestoDB를 쿠버네틱스에 띄우는 과정을 테스트 하고, 이를 정리하기 위해 작성된 문서이다.

6일 전
·
0개의 댓글
·

[2022 공간빅데이터 경진대회] 3-3. 건축물대장 층별개요 업로드

소스 데이터 중 건축물대장 층별개요 데이터를 업로드합니다.

7일 전
·
0개의 댓글
·
post-thumbnail

[2022 공간빅데이터 경진대회] 3-2. 건축물대장 표제부 업로드

소스 데이터 중 건축물대장 표제부 데이터를 업로드합니다.

2022년 9월 22일
·
0개의 댓글
·
post-thumbnail

Redis

해당 문서는 Redis에 대해 간략하게 정리한 문서이다.The open source, in-memory data store used by millions of developers as a database, cache, streaming engine, and messag

2022년 9월 18일
·
0개의 댓글
·
post-thumbnail

HBase

문서 목적 해당 문서는 실무로 배우는 빅데이터 기술에서 HBase에 대해 공부하기 위해 작성된 문서이다.

2022년 9월 18일
·
0개의 댓글
·
post-thumbnail

Zookeeper

문서 목적 해당 문서는 Zookeeper에 대해서 간략하게 정리하기 위한 문서이다.

2022년 9월 17일
·
0개의 댓글
·
post-thumbnail

Hadoop

해당 문서는 하둡에 대해 정리하기 위해 작성된 문서이다.

2022년 9월 16일
·
0개의 댓글
·
post-thumbnail

[혼공머신] 2-2. RDB에 데이터 업로드하기

RDB에 소스 데이터 업로드하여 분석에 사용할 데이터 준비하는 글입니다.

2022년 9월 14일
·
0개의 댓글
·
post-thumbnail

Kafka

문서 목적 해당 문서는 Kafka에 대해 대략적으로 설명한 문서이다.

2022년 9월 14일
·
0개의 댓글
·
post-thumbnail

Flume

해당 문서는 실무로 배우는 빅데이터 기술 책을 실습하면서 Flume에 대해 정리하기 위해 작성된 문서이다.

2022년 9월 14일
·
0개의 댓글
·
post-thumbnail

Presto DB - Cluster

해당 문서는 docker 상에서 presto 멀티 노드를 구성 테스트를 진행한 내용을 정리한 문서이다.

2022년 9월 10일
·
0개의 댓글
·
post-thumbnail

Presto DB - Single machine

해당 문서는 PrestoDB에 대해 정리하고, EKS에 띄워봤던 과정을 정리하기 위해 작성된 문서이다.

2022년 9월 9일
·
0개의 댓글
·
post-thumbnail

Slack Webhook을 이용한 Airflow 모니터링 테스트

해당 문서는 Airflow 실패에 대한 모니터링을 위해 slack webhook을 이용해서 구축한 내용을 정리하기 위해 작성된 문서이다.

2022년 9월 3일
·
0개의 댓글
·
post-thumbnail

CS fundamentals - OS

해당 문서는 운영체제를 공부를 어떻게 진행하였고, 하고 있는지 정리하기 위해 작성된 문서이다.

2022년 9월 2일
·
0개의 댓글
·
post-thumbnail

[Week2] (데이터 엔지니어링이란?) 02. 데이터 엔지니어링 기초 용어

데이터 엔지니어는 컴퓨터의 구조를 이해하고 데이터(특히, 최근에는 빅데이터)를 효율적으로 저장/관리/가공할 수 있는 데이터 파이프라인을 만드는 것

2022년 8월 30일
·
0개의 댓글
·