Intro.
AI, 머신러닝, 딥러닝, 빅데이터... 이제는 뜨겁지도 않은 주제가 되어가고 있다. 뜨겁지 않다는 것은 그 열기가 식었다는 말도 되지만 이제는 우리의 삶에 녹아 내렸다는 이야기도 된다. 데이터 관련으로 많은 직군들이 생겨나고 몇 년 사이에 빠르게 변화하고 있다.
나를 나는 '데이터 분석가'라고 이야기를 하지만 누군가는 나를 '데이터 사이언티스트'라고 이야기한다. 가끔은 나조차 내가 뭘 하는 사람인지 헷갈릴 정도다...
데이터..? 분석..?
데이터의 사전적 의미는 "이론을 세우는 데 기초가 되는 사실, 자료"라고 나온다. 데이터의 정의를 따르면 데이터 분석은 생각보다 오랜 역사를 가진다. 조선시대 거래를 하는 상인들도 오랜시간 장사를 하며 쌓아온 데이터가 있고 그 데이터를 기반으로 장사를 해왔을 테니까 말이다. 누군가는 그것을 '노하우'라 할 것이고 누군가는 '암묵지'라 할 것이다.
현재에 와서 데이터 분석에 열기가 불타오르게 된 것에는 여러 이유가 혼재되어 있지만 흔히들 알고 있는 빅데이터 시대에 도래 정도로만 이야기 하자.
너도나도 데이터 분석가.
2010년도 초 부터 시작된 IT 시장에 폭발적인 성장으로 수많은 개발자들이 쏟아져 나왔고, 빅데이터를 등에 엎은 데이터 분석가들도 쏟아져 나왔다.
근데 문제가 있었다... 그 수많은 주니어 데이터 분석가들이 간과한 것이 세가지가 있었다. 개발자도 문제 지만...
- 데이터 직군은 개발 직군 만큼 바운더리가 넓지 않다는 것
- 데이터 분석은 쉬운 것이 아니었다는 것
- 데이터 중심의 기업은 한국에 많지 않았다는 것
이 문제들은 콜라보레이션을 일으키며 분석가들도 기업들도 뭔가 잘 못 되어 간다는 것을 느끼게 된다...
꿈과 현실.
학원이든 대학이든 기업의 데이터를 실제로 접해보기는 힘들고 당찬 포부를 가지고 기업에 입사한 데이터 분석가 주니어들이 보는 것은 온갖 레거시 데이터, 복잡한 테이블 구조, 어디 있는지도 모르는 테이블 명세서들 까지... (벽을 마주한다)
내가 살면서 본인의 회사에 "데이터 체계가 좋다!"라는 이야기를 하는 사람을 본적이 없다. 욕이라도 안하면 다행이다.
기업들도 이걸 느낀거야!
이런 상황을 실무진 들도 체감 하게 되었고 리더들과 임원진 또한 알게 되면서 데이터 직군을 바라보는 시선이 조금씩 움직이기 시작했다.
많은 기업들이 몇 년간 데이터 분석에 대해 시도하고 무너지고 조직도 다시 편성해보고 하면서 데이터 관련 직군은 세분화 되고 과거에 두루뭉술하던 데이터 분석이란 업무는 세분화 되고 조금씩 명확해져 갔다.
2010년대를 지나 2020년대에 접어들면서 데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트, 머신러닝 엔지니어, 리서쳐 등 데이터 관련 직군은 세분화 되었고 데이터 분석가도 분야에 따라 비즈니스 데이터 분석가, 프로덕트 데이터 분석가, 마케팅 데이터 분석가 등으로 세분화 되어 갔다.
그래서 데이터 분석이 뭐지?
어쨌든 우린 데이터 분석가니까 우리 회사에 데이터 체계가 어떻든, 데이터가 있든 없든 우리는 분석을 해야한다!
내가 생각하는 정의가 모든 상황에 맞진 않겠지만 내가 생각하기에 데이터 분석이란
SQL에서 시작해서 리포팅, 대시보드로 끝나는 것
SQL에서 시작한 것은 비교적 날 것(If Raw Data?) 그대로에 데이터에서 시작해서 리포팅, 대시보드와 같이 제품화 된 모습으로 같은 팀원, 협업 부서, C-Level에게 전해져야 한다는 것이다.
그렇다면 데이터 분석가에게 필요한 역량도 대충 알게 될 것이다.
데이터 추출과 정제를 위한 SQL, 데이터 분석을 위한 통계지식과 Python (또는 R?), 데이터 시각화를 위한 BI 툴에 조작, 결과를 전달할 커뮤니케이션
이러한 것이 데이터 분석의 기본이라 생각하고 이제 이 기본 위에 자신만에 것을 쌓아가면 데이터 분석가 그 이상이 될 것이라 생각한다. 예로, 데이터 엔지니어쪽에 가까운 ETL, 분산시스템 / 머신러닝 엔지니어쪽에 가까운 모델링, MLOps 같은 것들 말이다.
