2년차 데이터 엔지니어의 2022년 회고

데이터 엔지니어로 근무한지 2년차가 되었지만 작년과 올해는 나에게 너무나 다르게 보낸 1년들이었다. 글을 잘 못 쓰는 탓에 몇가지 키워드로 데이터 엔지니어로서 1년을 회고해보려 한다.

가상자산 업계에 근무하면서 회사도 롤러코스터처럼 오르락 내리락을 많이 겪었고 현재진행형이라고 생각한다. 다만 이 글에서는 개인적인 회고를 목적으로 정리를 하려고 한다.

즐거운 변화🤩

데이터 팀 신설

탄탄하게 팀을 잡아주는 테크 리더와 열정적인 동료의 합류로 5명의 데이터 엔지니어가 2022년 7월 플랫폼팀에서 데이터팀으로 분리되었다. 1년을 회고 했을 때 가장 의미있는 변화 였다.

• milestone 단위의 업무
  • 데이터 파이프라인 구축 프로젝트
    • 데이터 레이크, 데이터 마트, 데이터 웨어하우스 구축
• 스프린트 단위의 업무에서 칸반보드 형태로 전환
  • 확실히 팀의 성향상 더 능동적으로 일할 수 있는 형태라고 느낀다.
• airflow 도입으로 스케쥴링 및 모니터링 업무 개선
• 공통 repo (팀 컨벤션 구축)
• Dtalks
  • 한달에 한번 데이터 팀 기술 토크 준비 및 발표
  • 나는 데이터 품질의 중요성과 사용자 행동 분석에 대해서 발표하는 시간을 가졌다.

2022년 시작과 비교했을 때, 2023년은 좋은 동료의 합류와 함께 더 즐거운 일에 대한 기대로 시작하는 것 같다.

기술 동향 관심

올 한해 경험많은 새로운 동료들이 많이 합류했다고 생각한다. 그들과 기술동향에 대해서 수다를 나누는 시간은 나에게 회사생활에서 즐거운 경험 중의 하나가 되었다. 자연스레 기술 블로그 탐방 및 기술 강의가 숙제가 아니라 즐거운 시간이 되었다.

AWS Industry Week 참석

회사 밖의 동향이 궁금해졌고 관심있는 동료들과 함께 세미나를 다녀왔던 것도 즐거운 경험이었다. 도메인과 관계없이 데이터 아키텍쳐들이 매우 흥미로웠고, 우리의 데이터 파이프라인 고도화에 영감을 얻을 수 있었던 시간이었다.

기회가 되면 조금 더 큰 무대에서 발표하는 즐거운 상상도 하게 되었고, 공유하는 즐거움을 느끼면서 조금은 늦었지만 블로그 활동도 이렇게 시작하게 되었다.

아쉬웠던 관리😅

체력 관리

입사 후 운동부족과 잦은 야식으로 체중이 급격하게 늘어났고, 올해 초 다이어트를 통해 10키로 가량 감량하며 상반기까지 좋은 컨디션을 유지했었다. 그러나 어느새 나와 타협하여 다시 몸이 무거워지고 쉽게 피로하여 집중력이 오래가지 않는 상태가 빈번해졌다. 체력이 떨어지면서 가장 강하게 느낀 것은 한가지를 타협하고 포기하게 되면서 다른 사이클까지 쉽게 무너지는 것을 경험했다.

조급함

좋은 동료들과 함께하고 외부에 관심은 좋은 자극제와 활력이 되기도 했지만, 조급한 마음을 컨트롤하지 못하여 시작만 하고 끝맺지 못한 일들도 많았던 것 같다. 남과 비교하지 않고 밸런스를 잘 잡아가는 것에 대한 중요성을 많이 깨달았던 한 해였다.

좋았던 기억이든 아쉬운 경험이든 2021년보다 알찬 2022년이었다고 생각한다.
2023년은 조금 더 나은 1년이길 희망하면서 개인적인 목표를 정리하고 마무리하려고 한다.

1. 데이터 파이프라인 고도화
2. 데이터 기반 의사결정에 기여
3. 테니스 배우기
4. 최소 12권 이상 독서
5. 1주일에 1개 이상의 블로그 작성
6. 외국인 동료들과 영어로 소통

Hello 2023 😎