데이터 엔지니어 신입, 어떻게 성장할까?

Hansu Park·7일 전

들어가며 - 새로운 직무의 어려움

7월달 데이터 (플랫폼) 엔지니어로 첫 취업을 한 뒤, 생각해보면 방향성에 대한 혼란이 있었던 것 같다. 혼란이 된 이유는 백엔드 공부만 하던 나에게 DE(데이터 엔지니어링)은 정보가 부족했기 때문이었다.

이러한 혼란속에 학습을 시도하여, 모호함만 남은 채 흐지부지 되었던 것 같다.

따라서 이번 기회에 이러한 혼란을 없애보고자 여러가지를 고민해보았고 이들을 정리하였다.

혼란의 구체화와 이들에 대한 내 생각

혼란이 있었던 3가지는

DE가 무엇인지
내가 하고 있는 일이 DE의 어디에 속하는지
DE로서 경쟁력을 갖추기 위해선 무엇을 해야하는지

를 몰랐기 때문이라고 생각했다.

DE가 무엇일까?

결론부터 말하면 데이터 파이프라인을 설계, 구축, 운영하는 일이라고 이해했다. 자세한 내용은 하단에 정리했다.

내가 하고 있는 일은 무엇일까?

사내 클라우드 서비스의 일종으로, 로깅 플랫폼을 운영하고 있다. 또한, 이를 운영하기 위한 사내 툴과 자체 솔루션을 개발하고 있다.

경쟁력을 갖추려면 무엇을 해야할까?

업계 전반적인 기술에 대해 general하게 할 수 있어야하고, 내가 하는 일에 대해선 special하게 할 수 있어야 한다.
회사에서 하는 일은 DE의 기술들 중에 굉장히 특이한 일이라고 생각했다. 따라서 이를 강점으로 삼을 수 있을 것 같다. 반대로 DE의 여러 기술들은 접해보지 못하니 이에 대해서도 보충할 필요가 있을 것 같다. 마지막으로 어디서나 통용될 근본적인 역량(아직 감이 안오지만..)을 기르는 것도 중요할 것 같다.

앞으로의 액션 아이템

앞으로는 어떻게 할까? 앞서 정리했듯 2가지 측면(general, special)에 대해 액션 아이템을 마련해보았다.

General - 평소의 다양한 경로를 통해 지식을 습득한다.

기존 백엔드 공부를 할 때에도 유용하게 활용한 방법이고 (뉴스레터, 유튜브, 블로그, 오픈톡방 등) 나에게 잘 맞는 방법이라고 생각했다. 구체적으로 어떤 매체를 활용할 것인지, 어떤 습관을 가져갈 것인지는 고민해보아야 할 것 같다.

추가로 이에 대한 지식도 많이 부족한 것 같아, 학습 초반부에서는 이에 대해서도 관심을 많이 가져야 할 것 같다.

Speical - 블로깅을 한다.

첫 글또 다짐글에서도 적었듯, 평일에 매일 학습하고 주말에 이를 정리해본다.
이전 블로그 글(모니터링)의 내용을 회고해보면, 학습할 범위를 잘 설정해야 할 것 같고, 타 DE 블로그들을 참고해서 어떻게 글을 써야할지 감을 다시 익혀야 할 것 같다.
최근 학습한 내용(로그 파이프라인 구축, 하둡 학습)을 생각해보았을 땐, 실습을 위해 토이프로젝트 느낌인 데이터 파이프라인이 하나 있어야 편할 것 같다. 최근 학습하며 거의 구축해놔서 이를 활용 + 블로깅 해야겠다.

Both - 일한다.

최근 학습 방향성에 대한 고민을 1on1하며 팀장님께 질문드렸다. 답변받았던 내용은 (1) 업무들 중 하나를 기준으로하여 점점 넓혀가보라는 것, (2) 적극적으로 여러 불편함을 개선해보라는 것이었다.

전자를 해결하기 위해선 어떤 업무를 기준으로 잡을지 스스로 판단해야한다. 이를 위해서 지금은 다양한 업무를 해보며 경험을 넓혀야 할 것 같다. 이에 대한 액션아이템으로 매일매일 한 일들과 이에 대해 잘했던 점, 개선할 점, 소감을 적어보려고 한다. (기존에도 하긴했으나, 더 구체적인 내용과 명확한 목표를 가지고 하려고 한다.)

후자를 해보기 위해선, 불편함을 느낀 경험과 해결책을 생각해 볼 인사이트가 필요하다. 이에 대해선 아직 많이 고민해보진 못했고 상상이 잘 안가, 경험이 더 필요해보인다.