220617 AIPM과정 D068
대구 AI 스쿨 시작한지 68일차

💻 Study Progress

1. 판다스 결측값 중복값 처리

2. 판다스 데이터타입 처리

3. 문자 데이터 처리

4. 데이터 분석 프로세스

데이터 분석 방법의 결정

분석 목표와 목적을 고려
데이터의 종류와 특성을 고려

데이터 분석

데이터 분석의 목적
변수 속에서 관측치 간의 차이를 확인하는 것
변수 간의 관계를 확인하는 것
차이와 관계를 확인하고 설명하는 것
데이터 분석의 과정
숫자와 그래프로 차이를 확인
모형으로 차이를 설명

데이터 분석 프로세스

분석 목적 및 방향 결정

분석의 배경, 목적, 예상 결과를 명확히 규정
분석에 대한 가설을 구체적으로 서술
정의한 내용에 대해 이슈 관계자와 합의

데이터 선택 및 수집

내부데이터
사내 데이터 베이스, 기존 연구 데이터 등
직접 수집한 데이터
실험 결과, 설문/리서치 결과
외부데이터
정부 기관이 보유한 공공데이터
일부 업체가 공개한 민간데이터

데이터 탐색 및 정제/데이터가공(Manipulation)

부분 데이터 선택
결측값(Missing Value)의 처리
변수 결합, 분해 및 파생 변수 생성

모델 생성 및 평가

확증적 데이터 분석 (Confirmatory data analysis)

미리 설정한 가설을 확인
추정과 검정
일반적인 연구의 데이터 분석 방법

탐색적 데이터 분석 (Exploratory data analysis)

변수와 변수간의 관계, 데이터 자체의 특성을 확인
간단한 시술 통계량 계산/다양한 그래프 활용
모든 데이터 분석의 시작단계에서 필수적 과정

요약 및 모형

요약 (Aggregation)

log data 기반 데이터 정보를 인식 가능한 수준으로 요약

모형 (Model)

정해진 알고리즘/데이터 속 변수와 관측치 간의 관계 확인
가능성을 수치화한 확률

5. 실전 데이터 분석

출처: 윤상혁 교수님 특강