어쩌다 데이터 5년차

YGHwang·2022년 8월 7일
4
post-thumbnail

올해 7월을 기준으로 회사에 다닌 지 만 4년이 지나 5년 차에 접어들었습니다. 연차가 이 정도 되니 직무 숙련도 예전 보단 높아진 느낌이고, 노하우도 조금씩 생기는 것 같습니다. 하지만 이럴 때를 가장 조심해야 하는 것 같습니다. 왜냐면 요즘에 생각하는 대로 사는 게 아니라 사는 대로 생각이 굳어지는 것 같은 나태해지는 저의 모습이 보이기 때문입니다. 😛

그래서 이번 글은 5년 차를 맞이하는 기념(?)으로 저의 직무에 대한 회고를 간단히 적어 보면서 나약해진 정신을 재무장해보고자 합니다.

데이터 분석, 호기심이 반이다.

저는 데이터 분석가로 일을 시작했습니다. 타이틀은 분석이지만 데이터 집계, 추출 요청 대응에도 많은 시간을 할애해야 하는 직군이죠. 하지만 다행히 저에겐 이 시간이 낭비되었다고 생각하진 않았습니다. 이 과정을 거치면서 다양한 분석 주제를 접할 수 있었기 때문입니다.

이전 회사에서 일할 때 서비스, 마케팅 부서에 각각 소속되어 일을 해봤습니다. 그리고 데이터실이라는 중앙 조직이 따로 있었습니다. '아 나도 데이터 실에서 일하면 더 좋았을 것 같은데'라는 생각에 잠긴 적이 있었지만, 되돌아보니 오히려 현업 부서에 있던 것이 더 재밌는 분석을 할 기회가 많았습니다.

현업 부서에 속하다 보니 추출과 대응 업무가 끊임없는 환경이었음에도 이 일을 지속 가능하게 한 원동력은 저에게 있어서 호기심이었습니다. 이러한 호기심은 때때로 좋은 분석 주제로 물망에 오르곤 하는데, 현업에 계신 마케팅 전문가, 서비스 운영 전문가와 얘기하면서 가설이 나오기 마련이고, 이것을 직접 확인해 보는 과정과 결과를 통해 재미를 느꼈던 것 같습니다.

그래서 데이터 분석에서 중요한 것은 기초 통계와 데이터 정제 능력도 있겠지만, 불타오르는 호기심 천국 마인드를 유지하는 것도 중요한 것 같습니다. 이는 곧 프로덕트 관점에서의 가설 검정을 위한 실험 설계로 이어지기 마련이고, 조금씩 난이도가 있는 분석 주제를 헤쳐 나감으로써 실력을 한층 탄탄하게 할 수 있는 불씨가 되지 않나 생각합니다. 물론 이런 동기부여는 누군가 해주기보다는 스스로 끌어낼 수 있어야 하는데, 어쩌면 성격에 의해 좌우되는 것인가 싶기도 합니다. 🤔

데이터 엔지니어링, 흉내라도 내보자.

지금의 회사로 이직할 때 좋았던 점이 직접 데이터 인프라를 구성해 볼 수 있는 기회가 있다는 것이었습니다. 이전 회사는 데이터 레이크가 상당히 잘 구축되어 있었고, 다양한 Fact Table이 일 배치로 척척 잘 쌓이고 있었기 때문에 Mart Table을 구성하는 일이 그다지 어렵지 않았습니다. 그런데 이번에 몸담고 있는 회사를 왔을 땐 DW를 새롭게 개발해야 했는데, ODS → DataLake → Fact Table → Mart Table까지 구성하는 파이프라인을 AWS로 개발하는 좋은 경험을 할 수 있었습니다.

DataOps 경험 덕분에 머신러닝 모델링 과정 중 Feature Store에 등록할 데이터 마트 설계와 적재를 어렵지 않게 할 수 있는 능력을 갖추게 되었습니다. 이를 통해 찐 데이터 엔지니어가 얼마나 대단한 사람인지, 데이터 엔지니어가 있음으로써 데이터 과학자와 분석가가 얼마나 편하게 일할 수 있는 것인지도 새삼 깨닫게 되었습니다.

백종원이 착한 척도 오래 하다 보니까 삶이 됐다고 합니다. 저도 처음 배울 때는 엔지니어링 흉내만이라도 낼 수 있는 능력을 갖추자라고 생각했지만, 지금은 이 덕분에 End to end로 일하는 데이터 스페셜리스트가 되어 업무 생산성이 높아진 것 같습니다.

데이터 프로덕트를 만들자.

인생 첫 데이터 프로덕트 개발을 추천(Recommendation) 서비스를 통해 익혔습니다. 추천 알고리즘에 사용할 Feature 적재 → 모델 훈련 및 검증 → 랭킹 알고리즘 설계 → 추천 데이터 적재 → CVR 측정까지를 약 반년 정도 매진하며 처음으로 프로젝트의 시작과 끝을 소화했었습니다. 여기서 느낀 것이, '아 데이터 프로덕트 개발을 하면 Data Science 영역의 대부분을 경험하는구나'였습니다. 이 때문에 더더욱 데이터 프로덕트 개발에 눈을 돌리게 됐고, 이 프로젝트 덕분에 데이터 과학자로 이직에 성공하게 되었습니다.

하지만 데이터 프로덕트라는 것이 누군가에겐 허황으로 들릴 수 있습니다. '그게 있으면 어떤 기대 효과가 있는 건가요?'라는 질문에 답을 할 수 있어야 하죠. 그래서 기획 문서를 만들어 공유해 보기도 하고, 회의를 통해 아이디어를 얘기하면서 프로젝트 주제를 잡아 보려고 노력했지만 생각대로 잘 흘러가지 않은 경우가 다반사였습니다. 특히 이직 직후 과거에 했던 프로젝트에 매몰되어 비슷한 것만 추진하려는 것이 저의 문제였는데, 지금 있는 곳에서 뭘 할 수 있는지를 보여주는 것이 더 중요하다는 걸 이제서야 깨닫게 되었습니다.

이쯤 되어 제 머릿속에 내려진 결론은 '제가 예전에 이런 거 만들어 봤어요! 저희 비슷하게 해보면 어때요?'라는 제안 보다 직접 데모로 만들어서 눈으로 보여주는 것입니다. 말 그대로 백문이 불여일견을 실천하는 것이죠. 그런데, 이게 되려면 당장 눈앞에 해결해야 할 본업을 끝내고 본인의 시간을 더 써야 한다는 것입니다. 하지만, 이렇게 해서라도 회사에 도움이 되는 것이 하나 걸린다면 그것만으로 저는 만족하고 있습니다. 이런 식으로 기회를 스스로 만들어 내고, 내 경력에도 도움 될 수 있는 프로젝트를 실현하기 위해 추가시간을 투자하는 게 데이터 사이언티스트와 데이터 분석가의 현주소인 것 같기도 합니다. 이처럼 회사에 도움이 되는 것과 내가 잘할 수 있는 것의 교집합을 찾아나가는 시간이 필요합니다.

공부는 계속되어야 한다.

'일이 바쁜데 공부는 언제 하지?'라는 생각이 들 때를 가장 경계해야 하는데, 제가 지금 그렇습니다. 정말 물리적으로 업무량이 넘쳐서 일이 바쁠 때도 있긴 하지만, 이런 순간은 일 년 중 그렇게 많은 날이 아니었습니다. 좀 더 냉정하게 생각해 보니 내가 맡은 업무의 결과를 만들어 내는 데에 필요한 지식과 기술이 부족해서 발생하는 업무 적체인 경우가 많았습니다.

이런 생각이 차오를수록 흔히 슬럼프에 빠진다는 표현을 하는데, 슬럼프는 새로운 학습을 통해 극복하는 것이 가장 효과적인 것 같습니다. 지금 하는 일을 해결할 더 좋은 방법을 찾지 않고, 과거에 했던 방식을 그대로 차용하여 반복하다 보니 결과는 그저 그렇고 시간도 오래 걸리는 상황이기 때문인 것 같습니다.

특히 데이터 분석가로 시작하여 데이터 프로덕트 개발까지 하고 있는 저에겐 더더욱 공부가 필요한 상황이기도 합니다. 어쩌면 저와 같은 커리어를 걸으며 성장하는 일꾼들이 공통적으로 고민하는 지점이 아닐까 싶습니다. 다양한 프레임워크를 잘 활용하여 사용자에게 도움이 될만할 기능을 개발해야 하는데, 엔지니어링과 ML/DL 알고리즘까지 섭렵해야 하는 막중한 책임감을 느끼는 상황에 때로는 부담을 느끼는 그런 상황..😇 이유야 어찌되었든 Output이 좋으려면 Input도 좋아야한다는 것을 더 많이 느끼는 요즘입니다.

마무리⌛️

지난 4년간 많은 지식을 채우고, 많은 지혜를 배우며, 많은 프로젝트를 경험했습니다. 그럼에도 올해는 예전보다 걱정이 많았습니다. 직전 회사에서 짧은 기간을 다니고 했던 이직인 만큼 이번 선택을 후회하면 어쩌나 하는 걱정, 그리고 팀 빌딩의 첫 구성원으로서 느껴지는 부담감 등이 있었습니다. 하지만 결과적으로 만족스러운 나날의 연속이었습니다. 걱정만 하진 않았기 때문입니다.

제가 예전에 읽은 책에서 기억에 남는 구절이 있는데요, '걱정은 흔들의자 같다'입니다. 제자리에서 흔들리기만 할 뿐 앞으로는 나아가지 못하기 때문이라고 합니다. 걱정을 하지 말라는 말이죠. 근데 어디 그게 쉽나요.

돌이켜보면 걱정이 그렇게 나쁘지만은 않다고 생각합니다. 지금 하고 있는 걱정이 잠시 제자리에 있을진 모르겠지만, 분명 인생을 꽃길로 물들여줄 씨앗이 되어주기도 하는 것 같거든요. 여전히 주니어 연차에서 벗어나진 못했지만, 지금까지 품고 있던 걱정 씨앗이 앞으로는 프로의 향기를 내뱉는 꽃이 되도록 더 정진해야겠습니다.

5년 차에 접어들면서 지난 4년간의 농사가 과연 어땠는지 되돌아보기 위해 의식의 흐름대로 적어본 글이지만, 저와 비슷한 커리어를 걷는 분들에게 힘이 되는 글이 되길 희망해 봅니다!

profile
사용자를 위한 데이터 프로덕트를 만드는 데에 즐거움을 느낍니다.

1개의 댓글

comment-user-thumbnail
2023년 5월 10일

와,, 만 2년 6개월차인 분린이 다녀갑니다,, 요즘 정말 회사생활이 힘들었는데 나만 힘든게 아니고 다들 이런 시기를 겪고 이겨내는구나 하고 알고갑니다. 감사합니다

답글 달기