데이터 엔지니어, 데이터 사이언스

데이터 사이언스 : 통계와 수학에 능통해야하고 최소 석사학위이상은 취득하는 것이 좋다.

데이터 엔지니어

AI 플랫폼 구축 업무가 아닌이상, 일반적으로 데이터 엔지니어는 AI와 거리가 멀다.

데이터 엔지니어는 데이터를 활용한 비즈니스 의사결정을 도울 수 있도록 데이터 소스로부터 안정적이고 효율적인 데이터 파이프라인 설계하는 사람

• 큰 그림 그리면서, 체계적인 무언가를 만들어 나가는거에 흥미를 느낀다면 좋다.

• 딥러닝, 머신러닝은 좋은 옵션이지만 필수는 아니다.

DE랑 AI 사이에 MLOps 분야

엔지니어링으로 남고싶다면 DE나 백엔드로 시작해서 MLOps쪽으로 가보는게 좋다.

 

분석가

데이터 엔지니어는 분석가가 분석에만 집중할 수 있게 한다.

이를 시행하는 쪽이 DE나 MLOps 엔지니어분들이다.

인사이트 획득 자체에 집중하는 환경이 될 것이고, 그 환경을 잘 구축하는게 DE의 업무로 넘어올 것 같다.

 

과정

신입에게는 CS가 중요하다.

리눅스 쉘 또한 다룰 줄 알아야 한다.

신입 DE를 거의 뽑지 않는다.

(모든 DE는 과장이자 경력직이다.)

 

해야할 것

1) 리눅스

쉘 같은 경우 어렵지 안다.

윈도우에 wsl 깔아서 연습해야한다.

2) AWS

EC2 인스턴스 하나 생성해서 붙여보는 것하기

3) 도커

도커를 사용해서 환경을 구성해보기

4) 데엔과 데싸의 차이점 공지 노션

https://de-kr.notion.site/FAQ-1d48366766f04feb8c683af0ab8bbcf9

 

---

참고자료

• https://youtu.be/SK1DmgQcYF4