데이터 분석가
→ 데이터를 기반으로 인사이트를 도출하고 비즈니스 의사 결정에 영향을 주는기획자성향 직무
데이터 사이언티스트
→ 문제를 해결하기 위한 데이터 분석 모델(딥너링 / 머신러닝)을 만드는연구자성향 직무
데이터 엔지니어
→ 데이터를 처리하고 분석을 위한 데이터 파이프 라인을 구축하는개발자성향 직무
데이터 엔지니어가 적성에 맞을 거 같고, 흥미가 생겨서 더 관심이 가기때문에 데이터 엔지니어 쪽을 찾아봄
데이터 엔지니어 : 데이터를 " 쉽게 " 활용할 수 있는 환경을 만들어주는 사람
링크텍스트
하는 일 : 데이터 수집, 가공, 적재하는 업무인 ETL을 할 수 있는 데이터 파이프 라인을 구축
ETL : 추출〈Extract〉, 변환〈Transform〉, 로드〈Load〉를 나타내며 기업이 전 세계 모든 곳의 수많은 팀에서 관리하는 구조화된 데이터와 구조화되지 않은 데이터를 비롯한 전체 데이터를 가져와 비즈니스 목적에 실질적으로 유용한 상태로 변환하는 엔드 투 엔드 프로세스를 의미함
추출〈Extract〉
데이터 추출(수집)하는 과정
기본적인 데이터 형태 (excel, csv, json) 등을 직접 받아오거나 웹 (web), 앱(application)의 로그(log)를 추출 ( 로그 : 온라인 상에서 발생하는 모든 상황(클릭시간, 접속정보, 접속한 콘텐츠 등)에 대한 기록
변환〈Transform〉
데이터를 분석하기 쉬운 데이터로 변환하는 과정
extract의 과정에서 다양한 형태(json, csv 등)의 데이터들이 수집되는데, 이러한 데이터들을 그냥 저장하거나 분석하기에는 적합한 형태가 아니기 때문에 row와 colimn의 형태로 변환하여 SQL 등으로 활용할 수 있는 과정
로드〈Load〉
데이터를 저장 또는 불러오는 과정
변환한 데이터를 데이터 레이크(data lake) 또는 웨어하우스(warehouse)에 저장
