[빅데이터분석기사] 그냥 쓰는중
데이터 분석 계획
-
데이터 분석가가 분석에 필요한 데이터들로부터 변수 후보를 탐색하고 최종적으로 도출하는 일정을 수립하는 단계
: 데이터 분석 과제 정의 단계 -
문제를 모르고 세부 내용 발견에서부터 시작해 인사이트를 제시하는 상향적 접근 방법
- what 관점에서 접근한다.
- 하향식 접근 방식의 설명
- 분석 과제가 정해져 있고, 이에 대한 해법을 찾기 위해 체계적으로 분석하는 방법이다.
- 문제 탐색 -> 문제 정의 -> 해결방안 탐색 -> 타당성 검토 과정을 거쳐 과제를 발굴한다.
- 사용자 관점에서 비즈니스 문제를 데이터 문제로 변환하여 문제를 정의한다.
- 지도학습 / 비지도 학습
- 지도학습: 분류, 추측, 예측, 최적화
특정 입력에 대하여 올바른 정답이 있는 데이터 집합이 주어지는 경우의 학습 - 비지도학습: 데이터마이닝 기법, 연관분석, 군집분석, 장바구니 분석, 기술 통계 및 프로파일링
- 프로토타입 모델
- 프로토타이핑 접근법: 데이터를 파악하기 힘든 상황 또는 시행 착오로 결과를 기반으로 반복적으로 개선해 나가는 접근법
- 명확한 입력 하에 데이터를 분석하며 분류, 예측 최적화를 통해 분석을 실시하고 지식을 도출하는 기계학습 기법
- 몰라
- 데이터 분석 기획시 분석 대상 이건 알아
- 데이터 분석 방법론의 구성요소: 방법, 상세한 절차, 도구와 기법
분석인데 비전은 왜? - 이거 그냥 끝
- 프레이밍 효과: 데이터 기반 의사 결정의 필요성에서 문제의 표현 방식에 따라 동일한 사건이나 상황을 어떤 요소로 인해 개인의 판단이나 선택이 달라질 수 있는 현상
- 빅데이터 분석 기획단계에서 프로젝트 위험 대응 방법: 완화, 수용, 전가, 회피, 이관
- 빅데이터 분석단계: 분석 기획, 데이터 준비, 데이터 분석, 시스템 구현, 평가 및 전개
데이터 분석단계: 데이터 준비, 데이터 정의, 데이터 스토어 설계 - 민감도 분석: 빅데이터를 분석하는 경우, 각각의 변수가 특정한 위험을 제외한 다른 위험을 파악하는 목적에 미치는 영향 정도를 평가하는 기법으로 정량적 위험 분석에 활용할 수 있는 분석 방법
- 토네이도 다이어그램: 민감도 분석 결과를 표현하는 방법
- 몬테카를로 시뮬레이션 - 확률분포
확률분포를 가정하여 위험이 프로젝트 일정의 목표에 미치는 영향을 분석하기 위해 프로젝트 모델을 만들고 난수를 발생시켜 일정의 준수 확률을 반복적인 계산이 필요한 시뮬레이션 기법 - 상향식 접근 방법 중에서 소비자들이 시장의 기회를 이용할 수 있도록 가치있게 평가하고 기술적으로 가능한 비즈니스 전략을 위해 관찰과 공감, 수렴과 발산적 사고를 통해 창의적 문제해결방식으로 접근하는 사고법
- CRISP-DM
업데데모평전
업무이해 -> 데이터 이해 -> 데이터 준비 -> 모델링 -> 평가 -> 전개 - 과적합: 모델이 학습 데이터를 불필요할 정도로 과하게 암기하여 훈련 데이터에 포함된 노이즈까지 학습한 상태
- 드롭아웃: 학습 과정에서 신겨암ㅇ의 일부를 사용하지 않는 방법
- 데이터의 잡음과 이상치, 결측치를 식별하고 필요시 제거 또는 재처리하는 단계: 데이터 전처리
- 다양한 관점별로 기초 통계량(평균, 분산, 표준편차)ㅣ
빅데이터의 특징
Value(규모) - 정보량의 폭발적인 증가
Variety(다양성) - 정형
Velocity(속도)
