데이터 사이언스 - 기초
이전 단계에서 데이터 분석의 기본 정보에 대해 알아보았다.
데이터 사이언티스트가 되어가기를 희망하는 사람으로써, 데이터 사이언스는 무엇이며 어떤 작업을 지원하는지 알아보자.
📊 데이터 사이언티스트란?
인터넷, 모바일, 소셜 미디어 등을 통해 엄청난 양의 데이터가 생성되고 있는 지금 시대에 데이터를 효과적으로 분석 및 활용하는 기술이 필요하다. 데이터의 가치를 극대화 하고자 데이터 전문가/데이터 사이언티스트가 등장했으며, 데이터를 분석하고 예측한다.
데이터 사이언티스트는 데이터 기반의 전략을 제시하여 비즈니스의 문제해결 및 의사결정에 도움을 주는 역할을 맡고 있다.
1. 주요 역량
1) 데이터 수집 및 정제
소스에서 데이터를 수집하고 이를 분석할 수 있는 형태로 가공
- 데이터 수집: 내부 데이터베이스, 웹 크롤링, 외부 API
- 데이터 정제: 누락 값, 이상 값, 중복 데이터 처리
2) 분석 및 시각화
정제된 데이터로부터 패턴 및 인사이트 도출
- 통계/분석 : 평균, 분산, 표준편차
- 시각화 도구 : Matplotlib, Seaborn, Tableau
3) 모델링 및 예측
데이터 기반 예측 모델 구축 : 머신러닝 / 딥러닝
- 머신러닝 : 회귀 분석, 분류, 군집화(Scikit-learn, Tensorflow, Keras)
- 딥러닝 : 대규모 데이터에 대한 신경망 모델
- 컴퓨터 비전 및 자연어 처리
4) 통계/수학
- 통계학, 확률, 선형대수, 미적분 등의 수학적 지식
2. 핵심 가치 및 비즈니스
데이터 사이언티스트의 핵심은 "데이터 분석 및 예측, 자동화"에 관여한다는 것에 있다.
데이터의 분석 뿐 아니라 데이터 수집, 정제, 처리까지 진행한다. 위의 과정을 자동화하기도 하고 대량 및 다종류(사람이 처리하기 힘든)의 데이터 분석이 가능하도록 분석/예측 모델을 구축한다.
특히, 다음과 같이 데이터 사이언티스트를 표현할 수 있다.
데이터를 기반으로 기업의 전략적 의사결정
과거의 데이터를 분석해 미래의 트렌드를 예측하고, 이를 통해 효율적인 결정을 지원함
기존에는 이용할 수 없었던 데이터를 수집하고 처리할 수 있게 되면서 데이터를 이용한 의사결정은 리스크를 그게 줄일 수 있다는 것이 증명되었다.
시간이 지날수록 지금보다 더 많은 데이터가 쌓여 갈 것이며 이를 이용한 다양한 분석과 가치의 창출이 가능할 것으로 생각된다.
데이터의 중요성과 처리 기술에 대한 수요가 점점 증가할 것으로 생각하며, 데이터 사이언스 도전하는 과정을 기록할 예정이다
마치며
스파르타 코딩에서 진행하는 데이터 분석가 과정에 참여중이며, 해당 과정과는 별개로 오픈 데이터를 이용한 프로젝트 또한 함께 진행한다.
### 스파르타-데이터분석가 과정 스타터 노트
1. 내가 데이터 분석 트랙에 참여한 계기는 무엇인가요?
- AI 관련 지식을 약간 갖고있으며, 이와 융합하여 데이터 사이언스 분야로 전환하기 위함
2. 내가 이해한 **데이터 분석가(혹은 생각했던 직무)**는 어떤 역할을 하는 사람인가요?
- 데이터 관련(수집 / 전처리 / 분석 / 분석 자동화) 전 프로세스에 대응하며, 이를 위한 모델 생성 및 배포
3. 데이터 분석을 경험해보셨나요? 해보셨다면 어떤 경험을 하셨는지를 작성해주시고, 아니라면 데이터 분석에 대해 찾아본 것을 작성해주세요.
- 분석 프로세스 보다는, EDA수준의 데이터 처리 경험
- AI 솔루션을 만들기 위한 데이터 수집, EDA, 처리 등
- 전력 소비량 예측을 위한 회귀 예측 모델
- 기후 데이터, 빌딩 인원 데이터, 태양광 발전기 데이터
- 탈모 분석을 위한 이미지 분류 모델
- 사용자 두발 데이터, 두피 데이터 - 직접 생성
4. 데이터 분석가의 역할을 수행하는 데에 있어 나의 강점과 연관된 부분은 무엇이라고 생각하나요? 혹은 보완, 개선하고 싶은 개인 역량이 있나요 ?
- 데이터를 분석하는 시각 및 역량
- 데이터 관련 모델을 구축하는 역량
5. 본 코스 수료 후, 어떤 데이터 분석가(혹은 생각했던 직무)로 성장하고 싶나요?
- 금융권 데이터 사이언스
- 특히, 단위그룹의 자본의 흐름에 따른 추세 분석 - 수요 분석
6. 본 코스 수료 후, 데이터 분석가(혹은 생각했던 직무)가 된 5년 후 목표로하는 점은 무엇인가요?
- 금융, 증권, 보험 데이터 분석 및 사이언스
- 특히, 금융 신규 상품(예/적금, 투자) 생성 또는 보험 관련 플랫폼 제작
- 수요와 경제 상황 및 조건 분석에 따른 상품 제공 등참고 자료
출처
