Today I Learned
오늘은 3주차 EDA & DataViz 첫날!
이번 주차에는 데이터 분석과 시각화, 전처리, 특성추출 등 데이터를 중점적으로 다룬다.
강의 복습
데이터
현실에서 측정하고 수집한 사실이나 값.
그 자체로는 의미가 없지만 이를 분석하고 해석해 유의미한 정보로 변환될 수 있다.
-
vs 정보
정보는 목적이나 의도에 맞게 데이터를 가공해 의미를 부여한 것. -
유형
정형데이터 : 행과 열로 고정된 형식의 데이터. 비교와 저장, 관계를 구하기 쉽다.
지리데이터 : 지도 정보 + 보여주고자 하는 정보
시계열데이터 : 정형데이터 중에서 데이터를 구분하는 가장 중요한 key값이 시간인 경우.
시간에 따라 순차적으로 기록된 데이터. 기온, 주가, 비디오, 음성 등.
추세, 계절성, cycle이 중요하다.
데이터 분석
데이터를 체계적으로 조사해서 그 안의 유의미한 정보를 추출해 의사결정에 활용하는 과정
-
데이터 수집 - 전처리 - 탐색(EDA) - 모델링 - 해석(평가) 의 과정을 거친다.
-
과거의
통계는 가지고있는 표본 데이터로 모집단의 특징을 대표값 위주로 추론하는 것에 그쳤지만, 현재는 통계를 넘어서 해석, 의사결정, 예측과정에 데이터가 더 중요해졌다. -
EDA(탐색적 데이터 분석)
데이터 분석 과정에서 데이터를 직관적으로 이해하고, 중요한 통찰을 얻기 위해 사용하는 다양한 기법과 접근법.
데이터를 시각적으로 탐색하고, 패턴, 이상치(Outliers), 데이터 분포, 상관관계 등을 발견하는 것
데이터 시각화
데이터를 시각적인 형태로 표현해 정보를 더 쉽게 이해하고 분석하도록 하는 과정
-
Expressiveness : 데이터가 가진 정보 모두를 시각 요소로 표현
Effectiveness : 중요한 정보가 부각 -
mark : 가장 기본적인 그래픽 요소. 점선면으로 구성
channel : 마크를 변경할 수 있는 요소. 위치, 색, 모양, 기울기, 크기 등 -
효율적인 시각화 원칙
Accurucy: 정확도. 데이터 값이 정확하게 표현
Discriminability : 구별 가능성. 채널 내에서 값을 명확히 구분
Separability : 분리성. 채널간 상호작용에 대한 구분
Popout : 시각적대비. 채널을 통한 명확한 데이터 구분
Grouping : 그룹화. 유사한 것 끼리 그룹화
Bar Plot (막대 그래프)
-
category(범주)에 따른 수치값을 비교하기 좋다.
-
일반적으로는 x축에 범주, y축에 값을 표기하는 수직스타일을 많이쓰고, 범주가 많으면 역으로 수평 막대그래프를 쓴다.
-
Principle of Proportional Ink
잉크(시각적으로 표현된 모든 요소)는 데이터를 전달하는 데 필요한 만큼만 사용해야한다.
즉, 데이터와 직접 관련이 없는 모든 시각적요소는 최소화해서 데이터 잉크의 비율을 최대화 해야 한다. 특히 3d 시각화는 비 데이터 잉크가 많아 지양해야 한다.
그리고 x축의 시작값은 항상 0이어야 한다. -
정확한 정보를 전달하기 위해서는 정렬을 해야한다.
시계열은 시간순, 수치형은 크기순 등.
pandas에서는 sort_values(), sort_index()로 정렬한다. -
errorbar, 오차 막대를 추가하면 uncertainty를 보여줄 수 있다.
Line Plot (선 그래프)
연속적으로 변화하는 값을 순서대로 점으로 나타내고 이를 선으로 연결한 것.
-
시계열 데이터 분석에 특화되어있다. 추세 파악에 좋다.
-
선이 5개를 넘어가면 인지하기 쉽지 않으므로 5개 이하가 좋다.
이중 축 사용도 지양하는게 좋다. -
smoothing : noise를 줄여서 패턴이나 추세 파악을 쉽게하는 기법
-
막대와는 다르게 축을 0에 둘 필요는 없다.
오히려 detail한 data보다 생략된 line plot이 나은 경우가 있다.
다만 간격은 일정하게 유지해야되고, 데이터가 규칙적이지 않다면 값에 mark를 표시해야 한다.
Scatter Plot (산점도)
점을 사용해 두 feature간의 관계를 알아내기 위한 그래프
-
기본 목적은 상관관계(양,음)를 파악하는 것.
추가적으론 군집, 값 사이의 차이, 이상치를 파악할 수 있다. -
마커 모양 차이는 크게 눈에 띄지 않아 보조로만 쓰고, 색이 구분하기 더 쉽다.
-
점이 너무 많으면 분포를 알기 힘드므로 투명도 조정, 지터링, 2차원 히스토그램, contour plot 등의 방법이 있다. 뒤의 두 방법이 추천된다.
-
regression을 이용해서 추세선을 1개 정도 그려주면 좋다.
-
grid(격자)는 사용하더라도 투명하거나 눈에 띄지않게, 될 수 있으면 사용 x
텍스트
-
시각적 표현이 할 수 없는 설명을 추가. 과하면 방해.
-
title(제목), label(축 설명), tick label(축 눈금), legend(범례, 데이터 구분) 등
색
-
화려함보다는 이해가 우선.
-
강조를 위해선 대비를 쓴다. 색상, 채도, 명도, 보색 대비를 쓴다.
-
기존 정보(ex.저온-파란색)와 색에서 오는 느낌을 잘 활용해야 한다.
-
컬러 팔레트 : 미리 정해진 색 set. 범주형 변수에 사용
7개 이상은 구분이 힘드니까 적당히 쓰고 나머지는 무채색. -
연속형 변수에는 단일 색조를 명암에 따라 균일한 색상변화를 보이게 세팅하는게 좋다.
(ex. 연한 빨강 ~ 진한 빨강) -
발산형(양 끝으로 발산)은 중앙을 기준으로 두 색이 발산해 끝으로 갈수록 진해지는 세팅.
정형 데이터
행과 열로 고정된 형식의 데이터. 비교와 저장, 관계를 구하기 쉽다.
- 명확한 그룹으로 구분되는
범주형데이터와 수로 나타나는수치형데이터로 나뉘어진다.
명목형 데이터
범주에 순서가 없는 데이터. ex) 성별, 국가 등
-
label encoding
모델에 넣기위해서는 카테고리를 수로 수치화해야한다.
범주를 0,1,2,3 같은 정수에 mapping해 처리한다.
없는 레이블은 -1로 전처리해야한다. -
one-hot encoding
범주를 0,1,2로 순서를 줘서 매핑하면 bias가 생길 수 있다.
이를 해결하기 위해 카테고리 만큼의 차원을 가진 벡터로 변환해 해당 범주는 1, 나머지는 0으로 만든다. ex) 남자 -> [1,0] / 여자 -> [0,1]
범주가 너무 많아지면 학습 속도와 퀄리티에 문제가 생기므로 다른 방법을 쓴다. -
binary encoding
범주를 0,1,2,3..으로 레이블링해 이를 이진수로 변환해 컬럼데이터로 바꾸는 방법.
범주가 많을 때 가끔 사용하는 방법
순서형 데이터
범주에 순서가 있는 데이터. ex) 리커트 척도(우위가 있는 별점), 영화 별점 등
-
별점 3점이 별점 1점보다 3배 좋은가?라는 질문에 yes면 수치형으로 보고 no면 순서형이다.
즉, 사칙연산 가능 유무로 구분한다. -
범주형의 인코딩 방법 다 사용가능.
-
순환형 데이터 : 요일, 각도 처럼 순환되는 데이터.
수치형 데이터
수치가 1,2,3같은 정수로 구분되는
이산형데이터와 수치가 실수로 연속적으로 이어진연속형데이터로 구분된다.
-
구간형 데이터
온도, 시간처럼 비율로 따질 수 없고 구간이 중요한 데이터
20도가 10도보다 2배 뜨겁다고 할 수 없다.
그래서 일정 값을 기준점으로 만들어서 비교를 할 수 있다.(최저값으로 다 빼기) -
비율형 데이터
인구수, 밀도 처럼 원점과의 거리(비율)이 중요한 데이터. -
단순한 평균, 표준편차 같은 대표값에만 의존하면 안되고 왜도, 첨도 같은 분포도 같이 봐야한다.
-
정규화 : 데이터의 범위를 0~1 or -1~1같은 특정 범위로 변환하는 것.
-
표준화 : 데이터의 평균을 0, 표준편차를 1로 만들어 표준 정규분포 형태로 만드는 것
-
정규화 과정 후 왜도(skewness)를 조정해 분포를 맞춰준다.
왜도가 negative(우측쏠림)이면 큰 데이터들의 간격을 띄워줘야하므로 거듭제곱이나 지수함수를 씌운다.
왜도가 positive(좌측쏠림)이면 작은 데이터들의 간격을 띄워줘야하므로 로그나 제곱근 연산을 해준다. 부호 영향은 미리 전처리 해둔다.
피어세션
-
현업에서는 시각화 라이브러리로 matplotlib과 seaborn을 쓰긴하지만, plotly가 html로 렌더링해주고 데이터 값을 마우스 올리면 표시해줘서 자주 쓰긴한다.
-
attention은 추론, self-attention은 자기자신도 넣기때문에 검증.
트랜스포머는 positional encoding이 핵심. 시간 순서를 고려하지 않기 때문에 병렬 처리가 가능해 처리 속도가 빠르지만, 순서가 사라져서 이를 잡아줄 positional encoding이 필요하다.
트랜스포머 포지셔널 인코딩 참고 -
다음주 월요일까지 Attention All you need 논문 읽어오기!
회고
- 이번 주차 내용은 저번 주보다 쉬웠는데 오늘따라 유난히 집중이 안됐다.
내일부터는 정신 다시 잡고 열심히 진도 나가보자!!
