# data engineering

7개의 포스트
post-thumbnail

Data Engineer's Toolbox

Data engineer는 data를 available, usable하게 만들어주는 system을 디자인하고 세우는 역할을 한다. 기업 (or any type of organization)에서 다루어야하는 data의 다양성과 규모가 크고 넓어질 수록 data engin

2021년 2월 13일
·
0개의 댓글
post-thumbnail

Careers in Data Landscape

References: Hiring: Machine Learning Engineer vs. Data Engineer vs. Data Scientist from Ideamotive [Data Engineers: The New Kings and Queens of Art

2021년 2월 12일
·
0개의 댓글
post-thumbnail

Software Engineering + Data

데이터 엔지니어링을 시작하게된 계기와 그 후의 생각들

2021년 1월 15일
·
1개의 댓글
post-thumbnail

Designing Data-Intensive Applications (데이터 중심 어플리케이션 설계)

Designing Data-Intensice Applications 을 읽고 정리한 글입니다.이 책은 데이터베이스와 분산시스템을 구성하는 전반적인 개념들을 깊게 다루고 있는 책으로써, 대규모 데이터를 처리하고, 지탱하는 기술들에 대해 설명하고 있습니다.

2020년 7월 27일
·
0개의 댓글
post-thumbnail

빅데이터 파이프라인 구축을 위한 Lamda Architecture

Lamda Architecture은 Batch Layer, Serving Layer Speed Layer로 구성되어 있으며, batch단위의 데이터와 real-time 데이터를 효율적으로 처리하는 방안을 제시합니다.

2020년 7월 6일
·
0개의 댓글

자산관리서비스 데이터레이크 구축기 #001

이 문서는 자산관리 서비스에서 데이터레이크를 구축한 경험, 그리고 이를 통해 얻은 결과물과 운영방안에 대한 내용을 담고 있습니다.주요 연계기술은 ETL(Extract, Translate, Load), EAI(Enterprise Application Integration

2020년 6월 4일
·
0개의 댓글