# data engineering

57개의 포스트
post-thumbnail

Apache Spark - 집계 함수

Apache Spark 집계함수

2022년 1월 10일
·
0개의 댓글
post-thumbnail

Apache Spark - Architecture

Apache Spark의 기본 구조

2022년 1월 10일
·
0개의 댓글
post-thumbnail

Airflow - Basics

Apache Airflow 는 Python으로 Workflow를 작성하고, 스케줄링 및 모니터링을 할 수 있는 오픈 소스 플랫폼

2022년 1월 9일
·
0개의 댓글
post-thumbnail

Apache Spark - 주요 개념

Apache Spark 기본 개념

2022년 1월 9일
·
0개의 댓글

PySpark - Kafka streaming

pyspark - kafka structured streaming Kafka broker에 저장된 토픽을 streaming을 통해 PySpark를 이용하여 실시간 스트리밍

2022년 1월 4일
·
0개의 댓글

Kafka Producer API

본 글은 최원영 저 "아파치 카프카 애플리케이션 프로그래밍 with 자바"를 기반으로 작성되었습니다. 저자 github 주소 https://github.com/bjpublic/apache-kafka-with-java

2022년 1월 3일
·
0개의 댓글

2.2 카프카 커맨드 라인 툴(토픽 생성, 프로듀서 레코드 전송, 컨슈머 레코드 출력, 레코드 삭제)

토픽 생성, 프로듀서 레코드 전송, 컨슈터 레코드 출력, 레코드 삭제

2021년 12월 30일
·
0개의 댓글
post-thumbnail

Kafka 설치 및 실행

kafka, zookeep 설치 및 실행. 로컬 컴퓨터와 통신해보기.

2021년 12월 27일
·
0개의 댓글
post-thumbnail

Data Engineering Help Image

2021년 12월 27일
·
0개의 댓글

Data Engineering이란?

2021년 12월 3일
·
0개의 댓글

n334_DashBoard & Deployment

#Heroku #배포 #WSGI #환경변수 #Metabase 🏆 학습 목표 개발 환경과 배포 환경에 대한 관리를 할 수 있어야 합니다. Heroku 를 활용해 배포할 수 있어야 합니다. 클라우드 데이터베이스에 연결할 수 있어야 합니다. Metabase 사용방법에 대

2021년 11월 4일
·
0개의 댓글
post-thumbnail

Flink로 시작하는 Stream processing 3 - 다양한 Transformation Operator

지난 시리즈에 이어서 요번에는 Flink가 기본적으로 제공해주는 transformation operator에 대해서 알아보려고 합니다.

2021년 10월 9일
·
0개의 댓글

n333_Docker

#Docker #Docker Hub #Docker Image #Docker Container #Docker Compose 🏆 학습 목표 CLI가 무엇인지 말할 수 있다 Docker Hub에서 Docker Image를 검색한 뒤 사용할 수 있다. 한 개의 Docker

2021년 10월 5일
·
0개의 댓글
post-thumbnail

n332_Flask

#Flask #Jinja #Template Engine #Bootstrap #웹 어플리케이션 🏆 학습 목표 Flask에 대해서 설명할 수 있어야 합니다. Flask 서버를 띄울 수 있어야 합니다. Jinja 템플렛을 사용할 수 있어야 합니다. Bootstrap 을

2021년 10월 3일
·
0개의 댓글
post-thumbnail

n331_Python 활용 (02)

**#PEP 249 #DBAPI #함수 #클래스 #인스턴스 ** 🏆 학습 목표 파이썬 함수를 활용할 수 있어야 합니다. 파이썬 클래스를 활용할 수 있어야 합니다. Pythonic에 대해서 생각할 수 있어야 합니다. [reference] self 이해하기

2021년 10월 2일
·
0개의 댓글

n324_NoSQL

#NoSQL #JSON #MongoDB #Pymongo 🏆 학습 목표 NoSQL이 관계형 데이터베이스처럼 하나로 정의된 용어가 아니라는 것을 알아야합니다. NoSQL이 여러 종류의 데이터베이스로 구성된다는 것을 알아야합니다. NoSQL에 데이터를 입력할 줄 알아야합

2021년 10월 2일
·
0개의 댓글
post-thumbnail

Source Transformation Sink Operator - Flink

Flink로 stream processing program을 만든다면, operator라는 개념으로 프로그램을 구성하게 되며, Operator는 source, transformation 그리고 sink라는 3개의 종류로 분류 되어 있습니다.

2021년 9월 26일
·
0개의 댓글
post-thumbnail

n323_API

#API #RESTful API #API토큰 #개발자 계정 학습 목표 API를 이해하고 사용할 수 있어야 합니다. RESTful API에 대해서 설명할 수 있어야 합니다. API 의 데이터를 받아와 데이터베이스에 저장할 수 있어야 합니다. HTTP Hypertex

2021년 9월 26일
·
0개의 댓글
post-thumbnail

n314_DB API

학습 목표 파이썬을 활용해 데이터베이스와 연결할 수 있다. : sqlite 데이터베이스(파일형 데이터베이스) 활용 및 연결로 데이터베이스와 상호작용하는 방법을 알아보고 데이터베이스 서버와 연결하는 방법(PostgreSQL)에 대해서 알아보겠습니다. python db

2021년 9월 22일
·
0개의 댓글

n322_Web Scraping

\_학습 목표크롤링을 이해하고 설명할 수 있다.파이썬을 통해서 크롤링을 할 수 있다.HTML 혹은 CSS 를 읽을 수 있다.DOM 에 대해서 설명할 수 있다.requests 라이브러리를 사용할 수 있다.beautifulsoup 라이브러리를 사용할 수 있다.HyperTe

2021년 9월 19일
·
0개의 댓글