👉 오늘 한 일
- 서울 120(다산콜센터) 데이터 수집 마무리
- 주식 종목 수익률 비교(FinanceDataReader)
- 데이터 시각화 학습
서울 120(다산콜센터) 데이터 수집
map(), apply(), applymap() 차이점
- 세 함수 모두 일괄 적용하고자 할 때 사용함
- map은 Series 데이터만 처리
- apply는 Series와 데이터프레임 모두 처리 가능
- applymap은 데이터프레임만 처리
merge(), concat(), append() : 데이터프레임 병합 시 사용
-
merge
- SQL에서의 join과 같은 개념
- 키값은 두 개 이상이 될 수도 있음
- 키컬럼이 다르다면 left_on, right_on 파라미터로 각각 매칭할 키컬럼을 지정
- how 파라미터는 조인 옵션을 제공함
-
concat
- 조인 옵션을 지정하지 않고 열을 기준으로 합치면 cross join 형태로 합침
- join 파라미터는 조인 옵션을 제공함
- index값이 다르다면 reindex를 통해 한쪽의 index값으로 맞춰줌
-
append
- ignore_index 파라미터를 통해 index를 무시하고 단순 병합함
주식 종목 수익률 비교(FinanceDataReader)
jupyter notebook
-
%pwd : 현재 작업 중인 디렉터리 출력
-
단축키 esc + o => 실행 결과 숨기기
-
모듈을 설치했는데 불러오지 못하는 에러 : 다른 곳에 설치되어있을 가능성
- 아나콘다 가상환경 위치에 설치(아나콘다 프롬프트에서 설치)
-
도움말 : shift + tab + tab
FinanceDataReader 튜토리얼 변형 예제
koreanize-matplotlib 모듈 : matplotlib에서 한글폰트 사용을 위해 사용
%config InlineBackend.figure_format = 'retina' : retina display 적용
retina : 일정 수준 이상의 고밀도 display
이외 matploilib 폰트 사용 방법
폰트 사용 방법 3가지
1) FontProperties 를 사용하는 방법 - 그래프의 폰트가 필요한 항목마다 지정해 주어야 함
2) matplotlib.rcParams[]으로 전역글꼴 설정 방법 - 그래프에 설정을 해주면 폰트가 필요한 항목에 적용됨
3) 2)를 mpl.matplotlib_fname()로 읽어지는 설정 파일에 직접 적어주는 방법, 단 모든 노트북에 적용돼서 노트북을 열 때마다 지정해 주지 않아도 됨
출처 : matplotlib doc https://matplotlib.org/3.3.3/tutorials/introductory/customizing.html
pandas, seaborn도 matplotlib을 사용하기 때문에 matplotlib으로 편집 가능
plt.style = fivethirtyeight, ggplot 사용 이유?
=> 폰트 설정이 없어서 폰트 설정을 덮어쓰기 하지 않음
plt.legend(bbox_to_anchor=(1, 1)) : 범례 표시를 그래프 밖(오른쪽)으로 뺌. 튜플값 바꿔서 위치 조정 가능
plt.axhline() : 가로선 생성
secondary_y에서 두 번째 y축(오른쪽) 지정 가능
변수 할당 / 마지막에 ; 쓰기 / plt.show() 사용해서 시각화 로그 없애기 가능
히스토그램의 막대는 pd.cut() 으로 나눈 것과 같음 (데이터 분포)
pd.cut(): 같은 길이로 나누기 (e.g. 시험의 절대평가)pd.qcut(): 같은 개수로 나누기 (e.g. 시험의 상대평가)
데이터 시각화
데이터 시각화 도구
- Excel
- Power BI
- Tableau
- Google data studio
BI 툴의 장점? : 방대한 데이터를 쉽고 빠르게 시각화할 수 있음
python 시각화 라이브러리
plotnine : R의 ggplot과 거의 유사하게 구현한 라이브러리
- R기반 문법을 사용함
seaborn의 multi-plot grid
-
FacetGrid : 데이터 세트의 하위 집합 내에서 개별적으로 변수의 분포 또는 여러 변수 간의 관계를 시각화하려는 경우에 유용
-
PairGrid : 작은 서브플롯의 그리드를 빠르게 그려 각각의 데이터를 시각화
- FacetGrid와의 차이점: 하나의 범주형 변수를 범주값에 따라 여러개로 나눠 그려주는 FacetGrid와 달리 PairGrid는 여러 변수를 나눠 그림
cufflinks : plotly에서 pandas 문법을 사용하게 해주는 라이브러리
- 다른 라이브러리에 의존성이 있기 때문에 버전 호환성 체크해야 함
plotly는 한글폰트 설정이 필요없음
plotly 그래프가 노트북에 표시되지 않을 때
from plotly.offline import iplot, init_notebook_mode
from plotly.subplots import make_subplots
init_notebook_mode()px.line()의 hover_data 파라미터는 동적인 그래프 안의 데이터를 편집함
rangeslider 으로 구간을 조절해서 결과를 확인할 수 있음
- 자동적으로 rangeslider가 나오는 plot들이 있는데,
fig.update_layout(xaxis_rangeslider_visible=False)로 rangeslider를 끌 수 있음
시각화 할 때 대표값을 표시해야 한다면 그래프에서 계산하지 않고 미리 계산하고 시각화해서 속도를 개선할 수 있음
메서드 체이닝 : 메서드들을 붙여서 사용하는 방법
- e.g.
df.value_counts().sort_values().plot()
슬라이싱 활용
경기도에 소재지를 두고 있는 KOSPI 종목의 종목명과 종목코드(Symbol) 데이터를 확인
kyunggi = df["Region"] == "경기도"
kospi = df["Market"] == "KOSPI"
df.loc[(kyunggi & kospi), ["Symbol", "Name"]]barplot은 범주형 데이터를 가정하고 그림
lineplot은 연속형 데이터를 가정하고 그림
