[ 데이터 엔지니어링 ]
1.[데이터 엔지니어링] 패스트캠퍼스 강의 Part6 분산 시스템 Fundamental : Chapter 1. 분산시스템의 이해 (1)
분산시스템의 특징 2.1 기본적인 특징 2.2 분산시스템의 고려 요소
2023년 9월 30일
2.[데이터엔지니어링] Part8 - Ch3. Yarn
❗️ 본 게시물은 패스트캠퍼스 강의 "한 번에 끝내는 데이터 엔지니어링 초격차 패키지 Online."을 기반으로 작성되었습니다. 1. What is Yarn? > ❗️ 1️⃣ 실시간 대용량 처리, 2️⃣ 자원의 비용 효율화 Hadoop 2.0부터 CPU와 메모리로 MapReducing뿐만 아니라,대용량 Multi processing을 할 수 있도록 만...
2023년 11월 5일
3.[데이터엔지니어링] - Project (1) : Airflow 실습
😵💫😵💫 정리 안 하면 절대 까먹을 것 같아서 실습하면서 정리...
2023년 11월 18일
4.[데이터엔지니어링] - Project (2) : Airflow 적용해보기
🔎 velog 트렌딩 글 크롤링 태스크 Airflow에 올리기
2023년 11월 24일
5.[데이터엔지니어링] - Project (3) : Airflow와 S3 연결하기
🔎 Airflow와 S3 연결하고, 파일 업로드하기
2023년 11월 25일
6.[데이터엔지니어링] - Project (4) : S3 권한 설정
🔎 내 계정에서 S3 접근하기 , 다른 계정의 S3 접근하기
2023년 11월 27일
7.[데이터엔지니어링] - Project (5) : 프로메테우스와 Grafana
🔎 Airflow의 Metric을 Prometheus와 Grafana에서 Monitoring 하도록 연결해보기
2023년 12월 2일
8.[데이터엔지니어링] - Project (6) : 디스코드 봇 연결
🔎 디스코드 채널에 메세지 보내는 태스크 추가하기
2023년 12월 27일