# data engineering

3개의 포스트
post-thumbnail

Designing Data-Intensive Applications (데이터 중심 어플리케이션 설계)

Designing Data-Intensice Applications 을 읽고 정리한 글입니다.이 책은 데이터베이스와 분산시스템을 구성하는 전반적인 개념들을 깊게 다루고 있는 책으로써, 대규모 데이터를 처리하고, 지탱하는 기술들에 대해 설명하고 있습니다.

2020년 7월 27일
·
0개의 댓글
post-thumbnail

빅데이터 파이프라인 구축을 위한 Lamda Architecture

Lamda Architecture은 Batch Layer, Serving Layer Speed Layer로 구성되어 있으며, batch단위의 데이터와 real-time 데이터를 효율적으로 처리하는 방안을 제시합니다.

2020년 7월 6일
·
0개의 댓글

자산관리서비스 데이터레이크 구축기 #001

이 문서는 자산관리 서비스에서 데이터레이크를 구축한 경험, 그리고 이를 통해 얻은 결과물과 운영방안에 대한 내용을 담고 있습니다.주요 연계기술은 ETL(Extract, Translate, Load), EAI(Enterprise Application Integration

2020년 6월 4일
·
0개의 댓글