데이터 엔지니어는 백엔드부터 시작하는 게 좋은 시작이다.
비즈니스적 의사결정 내릴 때, 데이터의 중요성이 대두 되었다. 데이터 드리븐 의사결정
과학적 비즈니스 의사결정을 내리는 것이 좋은 결과를 낸다는 믿음이 있기 떄문에
데이터 분석가나 사이언티스트에 대한 수요가 생겨났다.
이분들이 업무를 진행하시는데 (도움을 드리는.)
그러면 분석을 해야겠죠. 데이터분석가나 사이언티스트 분들이 쿼리를 날려야 하는데
운영 DB라고 불림. 근데 거기에 직접 쿼리르 날리면 DB에 부하가 갈 수 있다.
분석을 해야한다고 앱이 다운되면 안되기 때문에
운영계가 있고 분석계가 생겼다. 분석계에서 분석가들이 데이터 쿼리 날리고 분석해야하니까 요고를 그대로 분석계로 가져가는 작업을 한다. (파이프라인 작업이라고 많이 부른다.)
데이터엔지니어들은
고객 로그를 수집하고 이 로그데이터를 유의미하게 분석하고 이용할 수 있도록
데이터 전처리과정을 거쳐 하둡과 같은 빅데이터 시스템에 저장하는 업무를 한다.
데이터 파이프라인을 구촉하고 성능을 최적화 하는 등의 업무를 주로 담당하므로 프로그래밍 지식 외에도 데이터 웨어하우스, 하둡, 스파크 같은 빅데이터 업무경험과 지식을 요구함.
보통 학생은 학습하기 어려우니
백엔드 개발자로 커리어를 시작해서 직무를 변경하여 데이터 엔지니어가 되는 케이스가 종종 보임.
데이터엔지니어도 도메인지식이 필요함
도메인의 이해가 있어야 효율적으로 데이터를 수집/가공/저장할 수 있다.
요즘은 데이터 엔지니어와 사이언티스트의 업무가 겹치는 경우가 많아서 머신러닝 관련 지식이나 기술을 요구하는 경우도 있다.
장점 :
하는 업무가 비교적 명확함 데이터를 누군가에게 제공한다.
단점 :
기술 트렌드가 빨라 배움을 멈추지 못한다.
유용한 아티클
