[Week2] (데이터 엔지니어링이란?) 01. JD로 살펴보는 Data Engineering

💡 Data Engineering : 빅데이터를 수집, 가공, 저장하는 모든 시스템을 구축/관리하는 과정

대용량 데이터 처리를 위한 DB를 관리하는 작업을 말한다.

• Database(DB)란, 데이터를 효율적으로 저장/관리하기 위한 시스템

회사/기관이 운영하는 서비스에서 발생하는 모든 데이터를 db로 효과적으로 관리하기 위한 모든 시스템을 운영한다.
주로, Hadoop Ecosystem과 관련이 깊다.

다만, 하나의 확정된 개념은 아니다.
그래서 단체/기관마다 정의하는 Data Engineering의 개념이 약간씩 다르다.

Data Engineering을 업으로 삼는 사람들이 Data Engineer(DE) 이다. 그들이 하는 일들을 살펴보면 Data Engineering이 어떤 일인지 조금 더 알 수 있다.

각 회사들이 정의하는 Data Engineer들의 역할을 살펴보면서 Data Engineering은 어떤 것들로 구성되어 있는지 확인해보자!

Job Description

1. Amazon
   Data Engineer, AWS Data Platform

2. Kakao
   카카오 영입

3. 두나무
   [두나무(업비트/증권플러스)] 데이터 (Data) 엔지니어 채용 | 원티드

요약

• 데이터 엔지니어 포지션 역시 비슷한 역량들을 요구
• 필요역량
  • Hadoop
  • Spark/Hive
  • 대용량 데이터 처리 경험
  • 데이터 파이프라인 설계
  • Python / C++ / Java / Scala
  • 대용량 데이터 전처리
  • CS지식(자료구조, 알고리즘, 운영체제, 데이터베이스, 네트워크, 컴구, 오토마타/프로그래밍 언어론/컴파일러)
• 대용량 데이터를 처리하는 시스템을 만드는 역할
• 대용량 데이터를 효과적으로 처리하는 것이 중요!