<2022년 데이터분석가 회고>
분석가는 데이터로 현재의 사람들에게 과거를 해석해주고 미래를 준비하는 직업입니다.
하지만 아무리 올바른 분석 방법론을 가져와도 부정확한 데이터로는 잘못된 판단을 하게 만들고,
아무리 정확한 데이터라도 부정확한 분석 방법론으로는 올바른 분석을 할 수 없게 만듭니다.
분석가로서 가장 무서운 것은 "말에 신뢰를 잃는 것" 입니다.
흔히 이런 일은 분석의 오류가 자주 발생하게 됐을 때,
혹은 전달 납기일을 맞추지 못할 때 발생하는 것 같습니다.
그렇기 때문에 분석의 준비부터 전달까지의 과정은
힘들고도 매우 부담스러운 일이 아닐 수 없습니다.
2022년은 이러한 부담을 겪지 않기 위해,
치열하게 분석의 근육을 다져온 저의 이야기를 소개해드리겠습니다.
Analytics + Engineering => ?
흔히 분석가들의 기술 스택이라 하면
SQL, BI(Tableau, Quick Sight, PowerBI 등), Python(옵션)인 경우가 많습니다.
보통 이 세가지만 잘해도 무리없이 업무를 쳐내기는 하지만,
"본인 스스로의 업무 한계성(?)을 만들어낸다"라는 느낌을 받습니다.
쉽게 말해서
"SQL로 데이터 뽑아서 BI 대시보드 만들어야지!"
"SQL로 데이터 뽑아서 보고서 만들어야지!"
"Python으로 데이터 EDA나 해볼까?"
당연히 위 업무들은 중요하고
운영을 위해서 반드시 수반되어야 하는 것들은 맞습니다.
하지만 "주니어 데이터분석가"와 "시니어 데이터분석가"의 차이가 뭘까요?
주니어는 "데이터를 뽑는 사람"이고, 시니어는 "데이터를 더 잘 뽑는 사람"인가요?
당연히 아니라고 생각합니다.
데이터분석에 있어서, 주니어와 시니어의 차이는
"데이터를 얼마나 더 오케스트라를 잘 하는지" 인 것 같습니다.
여기서 말하는 "데이터 오케스트라"란 데이터 분석도 잘하는 것이지만,
데이터 분석 환경을 얼마나 잘 만들고,
분석 아이템을 얼마나 재고화 잘 하는지,
그리고 비개발직군에게 데이터 자유성을 느끼게 하는지에 대한 것입니다.
이러한 "데이터 오케스트라" 능력은 당연히 소프트 스킬과 하드 스킬의 조화가 필요하겠지만,
오늘은 하드 스킬에 대해서만 얘기를 나눠보겠습니다.
여기서 필요한 하드 스킬은 "엔지니어링"입니다.
보통 다른 직군의 사람들은 데이터 분석가 & 엔지니어링의 차이를 못느낄 수 있는데,
분석가 직군의 사람들은 "엔지니어링" 기술을 많이 부담스러워 하기도 합니다.
저 역시도 "엔지니어링" 기술을 배워야겠다고 생각하기 전에는
"내가 할 수 있을까?"란 걱정과 의심부터 앞섰던 것 같습니다.
하지만 이러한 걱정은 "클라우드 서비스 기술"로 해결할 수 있었습니다.
참고로 저는 "AWS"를 사용했습니다.
처음에는 "AWS"는 개발자나 DEV Ops 개발자들만 사용하는 건줄 알았는데,
업무에 적용하면서 차츰 배워나가보니,
오히려 "분석가들이 정말 이 좋은 걸 느껴봤으면 좋겠다"란 생각부터 들었습니다.
이 엔지니어링 기술을 덕분에 데이터 스트리밍, ETL, 분석 그리고 프로덕션화까지
스스로 전체적인 데이터 거버넌스를 꾸려나가는 역량을 얻을 수 있었던 것 같습니다.
당연히 처음 엔지니어링 근육을 키우는데 많이 애를 먹긴 했습니다만,
이 좋은 걸 저 혼자 느낄 순 없을 것 같아,
이 글을 보시는 분석가 여러분들께 강력히 클라우드 한번 배워보시라
추천드립니다.
중요한 것은 꺾이지 않는 AB Test
요즘 많은 업계에서 AB Test에 관심많고
주어진 시간동안 한 개의 실험이라도 더 해보려고 노력 많이 할 것입니다.
저 역시 AB Test를 두 번째 회사에 걸쳐서 진행해봤지만,
모든 실험에는 많은 예외 사항들이 있고,
대학교에서 배웠던 통계학 지식들을 실제 현업에 적용해보자니,
정말로 쉽지 않고 "역시 현실과 이상은 다르구나.."란 것을 많이 느꼈습니다.
하지만 분석가에게 "이렇게 여러 AB Test Case들을 경험해볼 수 있다는 것 자체가 큰 자산이고, 노하우가 아닐까?"란 생각을 해봅니다.
그렇기 때문에 AB Test를 함께 하는 분석가들끼리도
노하우를 받을 수 있는 그릇의 크기를 넓히기 위해서
평일 저녁 및 주말 막론하고, 당연하게 써왔던 방법론과 지표에 대해서도 원점 재논의도 해보면서,
서로 스터디도 하면서 의견을 많이 나눠봤던 것 같습니다.
그리고 기업의 규모에 따라서 AB Test의 빈도 및 속도 또한 달라지게 되는데,
데이터분석가로서 중요한 것은 AB Test를 빠르게 관장할 수 있도록 환경 및 시스템을 만들고,
많은 AB Test를 운영 및 관리 할 수 있도록 만드는 것이라고 생각합니다.
각 기업마다 상황 및 환경이 다르겠지만,
각자의 상황에 맞게 최적의 AB Test 환경을 세팅하는 것이
원활한 AB Test 문화를 정착시키기 위한 필수적 요소이기 때문에
데이터분석가의 많은 노력이 필요하다고 생각이 듭니다.
물론 아직까지도 이 드넓은 AB Test 세계를 정복했다고는
말하기 어렵지만, "AB Test가 그만큼 쉽지않지만, 열매는 달다"라는 것을
2022년 동안 깨달았다는 것 자체가 저에게 큰 복이고 성장이였던 것 같습니다.
분석가? 프로덕션! 오히려 좋아
데이터분석가의 업무는 분석인데,
이러한 분석가의 "분석"이 추상적인 업무이기 때문에 가끔씩 휘발된다(?)는 느낌이 들 때가 있습니다.
이게 무슨 소리냐 하면,
"특정 현상에 대해서 분석을 하고, 데이터 컨설팅을 하게 된다"라고 했을 때,
이를 통해 의사결정이 이루어질 수도 있고,
만약 부족하다면 후속 분석이 이루어질 수도 있습니다.
하지만 "그 다음은 무엇인가?" 혹은
"분석만 하고 끝인가?"라고 생각하면
당연히 서비스 발전에 큰 기여를 할 수는 있겠지만,
가끔씩 아쉬운 마음이 한구석으로 들었었던 것 같습니다.
이러한 마음과 상황이 찾아오는 이유를 곰곰히 생각해봤을 때,
"데이터 및 분석에 대한 키"를 가지고 있지 않기 때문이란 생각을 했습니다.
이러한 고민이 들 때쯤,
단순히 현상에 대해서 분석만 하는 것이 아니라,
내가 한 분석들을 프로덕션, 즉 제품화로 서비스에 적용할 수 있도록
알고리즘을 만드는 업무를 받게 되었습니다.
분석가로서 책임감과 부담감은 있었지만,
분석할 때와는 다른 오너십과 설렘이 있었던 것 같습니다.
분석에 대한 프로덕션의 과정 자체는
정말로 2022년 가장 힘든 기간 이였던 것 같고,
가장 고된 노력이 들었지만,
서비스 런칭 후,
내가 만든 알고리즘에서 나오는 데이터를 가지고 분석하게 됐을 때는
지금까지 분석했던 것과는 다르게 분석에 더욱 힘이 실렸고,
오히려 이 분석 자체가 알고리즘을 더 강하게
만드는 원천이 된 것 같습니다.
사실은 이러한 분석을 프로덕션화까지
만들어준 것 역시, 클라우드의 엔지니어링 기술 덕분이 아니였을까 싶습니다.
2022년에 데이터 분석가가 분석 말고도
분석을 제품화로 만들어 서비스 런칭을 해봤다는 것에
큰 기쁨과 자부심을 느꼈던 한해였던 것 같고,
앞으로도 배움과 성장에 게을리 하지 않고
분석가로서 서비스 발전에 큰 기여를 할 수 있도록 노력하겠습니다.
감사합니다.
