Data science ???
: Data Science란 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출하는데 과학적 방법론 등을 동원하는 융합분야 입니다.
※ 해당 글에서는 Data Science에 대한 포괄적인 내용만을 작성하고, 밑에 나오는 개념들에 대한 정리는 파트를 따로 분류해서 자세하게 설명하도록 하겠습니다.
- 빅데이터
: 빅데이터란 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용한계를 넘어서는 크기의 데이터를 일컫습니다. ▶ 데이터의 크기가 클 수록 그 가치가 큽니다.
(빅데이터에 대한 자세한 내용은 BIG DATA 시리즈에서 다루도록 하겠습니다.😅)
- 데이터 마이닝
: Data Mining 이란 대규모로 저장된 데이터안에서 체계적이고 자동적으로 통계적 규칙이나 짜임을 분석하여, 가치있는 정보를 빼내는 과정입니다.
💡 데이터 마이닝의 유형
: 데이터 마이닝은 데이터의 종류와 목적에 따라 다양한 분기와 사양으로 나뉠 수 있습니다. 그 예를 살펴보겠습니다.
✏ 프로세스 마이닝
: 정보 시스템에서 사용할 수 있는 이벤트 로그에서 지식을 추출하여 비즈니스 프로세스를 검색, 모니터링 및 개선하는 것을 목표로 합니다. 조직에서는 프로세스 상황을 확인하고 이해하는데 도움을 얻습니다.
✏ 텍스트 마이닝
: 텍스트 마이닝이란 비정형 데이터 마이닝의 유형 중 하나 입니다. 텍스트 마이닝은 비정형 및 반정형 데이터에 대하여 자연어 처리 기술(NLP : National Language Processing)과 문서 처리 기술을 적용하여 유용한 정보를 추출, 가공하는 목적으로 합니다.
- Machine Learning (기계학습)
: 기계학습이란 기계가 일일이 코드로 명시하지 않은 동작을 데이터로부터 학습하여 실행할 수 있도록 하는 알고리즘을 개발하는 연구 분야 입니다.
💡 Machine Learning 에 대한 내용은 제 전공 분야이기에 이 글에서는 간략히 설명하구 'Machine Learning' 파트에서 더욱더 자세하게 다루도록 하겠습니다!! 😄
- 인공지능(AI)
: 인공지능(Artifical Intelligence: AI)은 인간의 학습능력 추론능력, 지각능력을 인공적으로 구현하는 컴퓨터 과학의 세부 분야중 하나 입니다.
Data Science Project Process
: 데이터 기반의 문제해결 5가지 프로세스 입니다.
어떤 업무든 모든 일에는 과정이 있고, 그 과정을 차근차근 해결해 나가는 것이 매우 중요합니다. Data 또한 과정 하나하나 다 중요하며, 제가 공부하면서 여실히 느끼는 것은 과정을 지켜나가며 차근히 그 다음단계로 넘어가는것이 중요하게 생각합니다.
물론 데이터를 다루는 분야에서 알고리즘 및 머신러닝 기법도 중요하지만 해당 부분들은 과정을 익힌 다음에 해도 늦지 않게 익히실 수 있습니다. 반대가 될 경우엔 공부가 배로 어려워지실 거구요..ㅠㅠ (제가 초반에 공부할때 그랬습니다...ㅠㅠ😢)
- 문제 정의
- 문제 정의 및 목표 설정
- 필요한 데이터 및 수집 방법 정의
- 데이터 획득
- 데이터 수집
- 데이터 획득과 관련된 이슈 검토(프라이버스 문제 등..)
- 데이터 탐색
- 데이터 전처리(이상치 제거, 데이터 결합 등)
- 데이터 시각화 등을 통한 탐색
- 모델링
- 모델링 수행
- 평과 결과에 따라 이전 단계들을 다시 수행
- 배포
- 학습한 모델을 실제 field에 배포
- 모니터링 및 시스템 유지 보수
