데이터 영역을 전문으로 담당하는 소프트웨어 엔지니어

하고자 하는 이유

정량적으로 과학과 인문학적 통찰을 근거로 합리적 추론이 가능하다는 것에 큰 매력

• 현대를 살아가며 데이터는 보석과도 같이 가공을 통해 더 큰 가치를 창출할 수 있다 생각했으며
  • 데이터는 현대의 최고의 무기라 생각
  • 과거에는 정보를 가질 수 있느냐 없느냐가 중요한 초점이었지만 현대에 와선 수 많은 데이터들을 어떻게 다룰 것이냐가 중요하다 생각
    
    
• 현재에 들어 데이터의 양이 급증하는 현상 발생하며 데이터의 중요성도 함께 비례해 증가
  • 스마트폰 및 클라우드 환경이 이바지했다 생각
    
    
• 데이터가 가진 신뢰도가 100퍼센트가 될 수 없지만 데이터가 높을 수록 데이터의 신뢰성은 커지고 거기에 데이터를 기반으로 사람의 생각이 일부 들어간다면 긍정적인 가치를 만들 수 있을 것
  
  
• 이를 토대로 비즈니스 적으로 데이터의 활용을 위해 데이터를를 수집하고 정리하는 데이터 엔지니어를 시작으로 데이터 분석가가 되고 싶다

현재 고찰

1. hadoop, spark와 같은 클러스터 분산 컴퓨팅 솔루션과 같이 프레임워크 기술
2. 전반적으로 데이터의 대한(데이터 레이크, 웨어하우스 등) 지식
3. 수학적, 통계 지식이 부족하다 생각

필요하다 생각하는 능력

언어적 기술 : python, java, sql
프레임워크 : hadoop, spark, elasticsearch, big query, 여러 DB 등
인프라 기술 : 데이터 플랫폼만 담당하는 데브옵스 X, 클라우드 인프라 관련 지식도 알면 좋을 것
수학, 통계 지식 : 데이터를 보고 비즈니스적인 판단이 가능해야하기에
도메인 지식 : 이는 내가 종사하는 기업의 비즈니스를 보며 적응할 시간이 필요
커뮤니케이션 능력 : 사이언티스트, 개발, 마케팅 등 여러 부서들과의 소통이 무조건적으로 필요하기 때문
추가적으로 시각화, 분석, AI 관련 지식까지 안다면 좋을 것

실질적으로 기업과 관련해

• 기업마다 데이터 엔지니어에게 요구하는 영역의 차이 존재
  • 특정 기업은 비즈니스 측면을 주로, 특정 기업은 스킬적인 측면을 주로 요구

대기업 vs 스타트업

• 대기업의 경우 스페셜한 영역을 다루며 그 외 기업들은 제너럴한 영역을 담당
  • 아직 많은 것을 모르기 때문에 스타트업에서 제너럴한 영역을 담당하며 여러가지 데이터 엔지니어링과 관련해 사태파악을 하고 싶다
• 대기업의 경우 하나의 기술을 깊게, 그 외는 여러가지 기술을 비교적 얕게

참고

• https://nephtyws.github.io/story/what-is-data-engineer/