데이터 분석이란 무엇일까?

링크: https://yozm.wishket.com/magazine/detail/1567/

1. ‘데이터’ 란 무엇인가?

• 데이터의 정의는 ‘특정 사실이나, 정보의 집합’.
• ‘정성적 데이터’ 와 ‘정량적 데이터’ 로 나뉜다.

2. ‘데이터 분석’ 은 무엇이고, 왜 중요한 것인가?

• 데이터 분석이란. 데이터를 정리하고, 변환하고, 조작하고, 검사함으로써 원시 데이터에서 유용한 인사이트를 도출하는 작업.
• 데이터 분석이 중요한 이유 3가지

  1. 데이터 분석을 통한 고객 타깃팅 개선

     1. 데이터 분석을 통하여 경쟁업체를 이해 하고 고객의 니즈를 이해할 수 있다.
     2. 잠재 고객을 데이터 분석을 통해 파악할 수 있다.

  2. 성공과 성과를 측정할 수 있다.

     1. 과거에 성공하고 원하는 결과를 영역이 어디인지 파악 (나의 강점 파악)
     2. 어려움에 부닥친 취약한 영역을 파악 (나의 약점 파악)

     → 앞으로 더 집중해야 할 영역과 덜 집중해야 할 영역을 파악할 수 있다.

  3. 문제 해결에 도움이 된다.

     1. 분석을 통해 정보 (OR 인사이트) 를 얻게 되어 올바른 의사결정이 가능해진다.

3. 데이터 분석 프로세스 개요

• 1단계 : 답변이 필요한 질문 인식 및 식별

  • 명확한 목표 설정
  • 우리가 데이터 분석을 수행하는 이유가 무엇인지를 아는 것이 중요하다.
  • 비즈니스 목표에 대한 이해도와 인사이트가 중요. (도메인에 대한 이해)
  • 어떤 데이터가 필요한지가 이 단계에서 정의됨.

• 2단계 : 원시 데이터 수집

  • 수집하려는 데이터 유형이 정성적 (비수치적, 설명적) 인지 정량적 (숫자적) 인지 분류함.

• 3단계 : 데이터 정제

  • 데이터를 수집하고 나면 해당 데이터의 구조 파악이 필요

  • 데이터 정제는 아래의 작업을 포함함.
    1. 아웃라이어 (비정상적으로 크거나 작은 값) 찾기
    2. 오타 수정
    3. 데이터 오류 제거
    4. 중복 데이터 제거
    5. 형식의 불일치 수정
    6. 누락된 값을 확인하거나 잘못된 데이터 수정
    7. 일관성이 떨어지는 데이터 수정
    8. 관련성이 없는 데이터와 분석에 유용하지 않거나 필요하지 않은 데이터 제거

    → 데이터의 품질을 높히고, 정확하고 적합한 데이터에 초점을 맞춰 분석 수행 가능.

• 4단계 : 데이터 분석

  1. 기술적 분석 (Descriptive Analysis) : 수집된 데이터를 요약하여 데이터의 핵심 포인트를 살피고, 이미 벌어진 일에 집중함.

     → “무슨 일이 일어났지?” 라는 질문에 답하는 것이 목표.

  2. 진단적 분석 (Diagnostic Analysis) : 수집된 데이터를 사용하여 당면한 문제의 원인을 이해하고 패턴을 찾아내는 단계.

     → “왜 이런 일이 일어났지?” 라는 질문에 답하는 것이 목표.

  3. 예측 분석 (Predictive Analysis) : 미래 트렌드를 감지하고 예측하는 단계.

     → “앞으로 어떤 일이 벌어질까?” 라는 질문에 답하는 것이 목표.

  4. 처방적 분석 (Prescriptive Analysis) : 위의 세 단계에서 얻은 모든 인사이트를 하나로 모아 앞으로 다가올 일에 대한 대비책을 세우고 실행 가능한 계획을 수립하는 단계.

     → “무엇을 해야 할까?” 라는 질문에 답하는 것이 목표.

• 5단계 : 결과 공유

  • 결과를 해석하여 조직 구성원에게 공유할 수 있도록 데이터 시각화 및 내용 정리를 진행하여 결과를 공유
  • 데이터를 취합하고 내러티브를 만들어 명확하고 직관적이며 간결하게 결과를 제시

4. 데이터 분석에 필요한 기술

• 수학과 통계에 대한 이해

• SQL 및 관계형 데이터 베이스에 대한 지식

• 프로그래밍 언어 지식

• 데이터 시각화 도구에 대한 지식

• 엑셀 지식

• 주요 포인트 :

  → 데이터 분석의 핵심은 트렌드를 식별하고 예측하며, 수집 가능한 모든 데이터로부터 패턴과 상관관계를 파악하여 복잡한 문제에 대한 해결책을 찾는 것.
  

• 핵심 개념 : 정성적 / 정량적 데이터

• 용어 정리 :

  • 정성적 데이터 (Qualitative data) :
    • 수치나 양적 측정치보다는 질적인 특성과 속성을 나타내는 데이터
    • 사람들이 경험하는 감정, 의견, 동기, 행동 패턴 등을 이해하기 위해 수집
    • 정성적 데이터의 특징
      • 서술적: 정성적 데이터는 서술적이며, 숫자로 표현되지 않음
      • 주관적: 주로 사람들의 주관적 경험과 의견을 반영함
      • 맥락 중요: 데이터가 수집된 맥락과 환경이 중요하게 고려됨
      • 유연성: 데이터 수집과 분석 과정이 유연하며, 연구자의 직관과 해석이 큰 역할을 함
  • 정량적 데이터 (Quantitative data) :
    • 수치나 양적 측정치를 기반으로 하는 데이터
    • 정량적 데이터는 객관적이고 일반화할 수 있는 결과를 도출하는 데 중요한 역할
    • 정량적 데이터의 특징
      • 수치적: 정량적 데이터는 숫자 형태로 표현
      • 객관적: 데이터를 수집하는 방법과 결과가 객관적이고 재현 가능
      • 측정 가능: 구체적이고 명확하게 측정할 수 있음
      • 통계적 분석 가능: 다양한 통계적 기법을 사용하여 분석가능

• 핵심 개념 : 원시 데이터, 구조화된 데이터

• 용어 정리 :

  • 원시 데이터 (Raw data):
    • 특정 도메인, 장르, 주제 등에 대하여 조건에 맞춰 수집은 했지만 주석 단계는 거치지 않은 상태의 데이터
    • 목적에 맞는 전처리 과정을 거쳐 가공이 되어야 활용 가능
  • 구조화된 데이터(Structured data):
    • 정형 데이터라고도 부르며, 이름 그대로 정해진 일정한 형식으로 구조화가 되어있는 데이터
    • 전처리가 필요하며 종류로는 대표적으로 RDB가 있고, 그 외에도 엑셀, 스프레드 시트, csv가 있다
    • 장점
      • 전처리 되어 있기 때문에 쉽게 쿼리를 사용하거나 연산이 가능하다. 그 때문에 머신 러닝 알고리즘에도 쉽게 사용할 수 있다.
      • 구조화된 데이터는 오래전부터 사용된 만큼 많은 사람들이 사용하고 있으며, 다양한 툴에서도 지원이 된다.
    • 단점
      • 전처리 비용이 필요하다.
      • 저장소가 바뀌면서 다른 형태로 구조화해야할 경우에도 많은 비용이 필요하다.