📝 Week 3: EDA와 약간의 (Dataviz)

사실 썸네일은 아래 내용과 별로 관련 없다.
마지막에 나오는 프로젝트 경험담에서 수행한 프로젝트의 로고일 뿐 ㅎㅅㅎ
아무튼 좋은 경험이었기에!!! 기록!!!📝✏️

💡
1 특강 시간에 들었던 '나를 알자' 잘 실천하기
2 책이 읽고 싶다면 폰을 두고 카페에 갈 것
3 반드시 집중해서 써야 할 게 있다면 충전기를 두고 카페에 갈 것
소감 데이터 분석에 대해서 잘 와닿지 않았으며, 어떻게 해야 잘하는 것인지를 구체적으로 생각해본 적이 없었는데 내가 프로젝트에 적용하기 위해서 고민하고 노력했던 과정이 데이터 분석이라는 것을 알고 뿌듯했다.

데이터 분석 소개

산업 혁명, 인터넷의 발전 등으로 정보화 시대라는 단어조차 등장한 지 오래이다.
프로젝트를 수행함에 있어서 숨 쉬듯이 당연하게 하는 데이터 수집 및 분석 말고, 이 일을 왜 하는지에 대한 목적 의식과 책임감을 갖고 정확히 알고 수행하도록 하자.
나아가 분석한 결과에 설득력을 실어주기 위한 시각화 또한 알아보자.

데이터 분석의 중요성
데이터 분석의 직접적인 결과로는, 모집단의 표본을 가정하고, 표본을 통해 모집단을 예측하는 것이 있다. 따라서 데이터 분석을 수행하면 수많은 양의 모집단에 직접 접근하지 않아도 해석(Interpret), 의사 결정(Decision Making), 예측(Predict) 등의 작업을 수행할 수 있는 것이다.

데이터 분석을 수행할 때 중요하게 고려해야 할 점

1. 데이터로 할 수 있는 일인가?
하고자 하는 task가 데이터로 할 수 있는 일인지, 관련이 없는 엉뚱한 작업인지를 잘 파악해야 한다.
Q. 주식과 코인의 가격을 차트만으로 예측할 수 있을까?
A. No. 주식은 과거 값 뿐만 아니라 당시 상황의 사람들에 반응, 브랜드의 이미지 등 주변 상황에 영향을 받는다. 이를 모두 알고 있더라도 다양한 변동 상황이 존재하기 때문에 과거 차트만으로 예측하겠다는 가정은 잘못되었다.

2. 현재 리소스의 양이 충분한가?
LLM을 개발하고자 할 때 현재 필요한 GPU의 양, RAM의 크기, 데이터의 양은 충분한지 확인해봐야 한다.

3. 데이터만 있으면 무엇이든 할 수 있는가?
데이터가 '존재'하기만 하면 안 된다. 목적에 적합한 데이터를 적절히 분석해서 양질의 형태로 가공해야 특정 task를 수행할 수 있는 것이다.

데이터 문해력

좋은 데이터 분석을 수행하려면 아래의 역량을 포함한 데이터 문해력(Data Literacy)을 함께 길러야 한다.

1. 데이터 분석을 시작하기 위한 좋은 질문을 할 수 있는 역량
2. 필요한 데이터를 선별하고 검증할 수 있는 역량
3. 유의미한 결론을 만들어내는 역량
4. 가설 기반 A/B test를 수행하여 결과를 판별할 수 있는 역량
5. 이해하기 쉽게 적절한 방법으로 시각화를 할 수 있는 역량
6. 데이터 스토리텔링을 통해 데이터 분석 결과를 이해하게 하고, 그에 따라 실행하게 하는 역량

탐색적 데이터 분석(EDA, Exploratory Data Analysis)

EDA란 1970년대 미국 수학자 John Tukey가 처음 개발한 기술로, 오늘날에도 데이터 디스커버리 프로세스에서 널리 사용되는 방법이다. EDA는 모수 추정 전에 표본의 데이터를 파악하기 위한 것이다. 명백한 오류 식별, 패턴 이해, 이상치 감지, 변수 간 관계 파악 등 적용하고자 하는 task를 위해 완벽한 준비를 수행한다.

EDA tool을 통해 수행할 수 있는 기술
다변량을 포함하는 고차원 데이터를 보다 더 잘 이해하기 위해 Clustering 및 차원 축소(PCA)를 수행할 수 있다.
원본 데이터의 각 field를 요약을 포함한 일변량 시각화로 변환하여 보다 직관적인 이해를 돕는다.
요약을 포함한 이변량 시각화를 통해 데이터셋의 각 field와 타겟 변수 간의 관계를 파악할 수 있다.
다변량 시각화를 통해 데이터의 서로 다른 field간의 상호작용을 파악한다.
K-means Clustering은 시장 세분화, 패턴 인식, 이미지 압축 등에서 사용되는 기법이다.
Linear Regression과 같은 예측 모델은 통계학과 데이터를 함께 사용하여 결과를 도출한다.

EDA의 네 가지 기본 유형
일변량 non-graphical은 가장 단순한 유형으로, 하나의 변량만 있기 때문에 원인과 상호 관계를 파악할 필요가 없다. 가장 주요한 task는 데이터 내 패턴을 포착하여 해당 데이터를 잘 표현하는 방법을 찾는 것이다.
non-graphical한 방식은 데이터 간 관계를 전부 파악할 수 없기 때문에 일변량 graphical 방식이 필요하다.

• Stem-and-leaf plot(줄기 잎 그림)은 모든 데이터와 각 변량을 표현한다.
• Histogram(바 그래프)은 각 bar가 빈도수 또는 비율을 나타낸다.
• Box plot(상자 그림)은 최솟값, 3분위, 중앙값, 1분위, 최댓값을 하나의 차트에 표현할 수 있다.

다변량 non-graphical은 두 개 이상의 변량에 대해 cross-tabulation(교차표) 또는 통계적 방식으로 표현한다.
다양한 시각화 기법을 표현한 다변량 graphical 방식도 있다. 가장 많이 사용하는 방식은 각 변량들을 하나의 레벨에서 표현하여 직관적으로 비교가 가능한 grouped bar plot이다.
이 외에도 Scatter plot, Bubble chart, Heat map 등 다양한 시각화 방법이 있는데, HCI(Human Computer Interaction) 관점에서 적절한 개수의 데이터를 적절한 색과 방식으로 표현하는 것을 직접 연습해봐야 한다.

출처
IBM

SoDamTeo

소담터는 얼마 전까지 진행했던 프로젝트인데, 이때 작물 시가 예측 모델을 학습할 때 했던 데이터 분석이 기억에 남아 링크 남기고 갑니다. ㅎㅎ
클릭클릭