데브코스 최종프로젝트 회고

데브코스 최종 프로젝트 회고 첫번째. 데이터 파이프라인 작성에 대한 고민들을 담은 게시글이다.이 게시물에서는 프로젝트 주제와 구성원, 내 역할을 소개하고, 다음의 내용들을 회고한다.계층형 데이터레이크 구조 도입데이터 파이프라인 구조에 대한 고민파이프라인 태스크에 대한

데브코스 최종 프로젝트 두번째 이자 마지막.아무래도 데이터를 직접 다루는 부분이다보니, 한 게시글로 작성하게되어 두 편만에 회고가 끝났다.시리즈 내 저번 게시물로부터 이어지며, 이번 게시물은 다음의 내용을 포함대용량 데이터를 생성하면서 겪은 시행착오대용량 데이터를 처리