Pandas

pandas는 데이터 조작 및 분석을 위한 파이썬 프로그래밍 언어 용으로 작성된 소프트웨어 라이브러리이다. 출처 : 위키피디아

pandas 시작

---

pandas라이브러리를 import한다.

import pandas as pd

pandas로 1차원 데이터 다루기 - Series

---

series란?

• 1-D(1차원) labeled array
• 인덱스를 지정해줄 수 있음

s = pd.Series([1,4,9,16,25])
s
>>>0     1
1     4
2     9
3    16
4    25
dtype: int64

t = pd.Series({'one':1, 'two':2,'three':3,'four':4,'five':5})
t
>>>one      1
two      2
three    3
four     4
five     5
dtype: int64

Series + Numpy

• series는 numpy와 유사하다.

s[1]#슬라이싱 가능
>>>4
t[1]
>>>2
t[1:3]
>>>two      2
three    3
dtype: int64

s[s>s.median()]#자기 자신의 median보다 큰 값을 가지고와라
>>>3    16
4    25
dtype: int64

s[[3,1,4]]#여러가지 인덱스를 묶어서 동시에 추출 가능
>>>3    16
1     4
4    25
dtype: int64

import numpy as np
np.exp(s)#s에 대한 exp값이 계산되어 나옴
>>>0    2.718282e+00
1    5.459815e+01
2    8.103084e+03
3    8.886111e+06
4    7.200490e+10
dtype: float64

s.dtype
>>>dtype('int64')

Series + dictionary

• 딕셔너리와도 유사하다.

t
>>>one      1
two      2
three    3
four     4
five     5
dtype: int64

t['one']
>>>1

#Series에 값 추가
t['six'] = 6
t
>>>one      1
two      2
three    3
four     4
five     5
six      6
dtype: int64

'six' in t
>>>True
'seven' in t
>>>False

t.get('seven')#어떤 값을 가져오되 없어도 에러가 발행하지 않고 예외처리됨
t.get('seven',0)
>>>0

Series에 이름 붙이기

• name속성을 가지고있다.
• 처음 series를 만들 때 이름을 붙일 수 있다.

s = pd.Series(np.random.randn(5),name = "random_nums")
s
>>>0    2.193934
1   -0.756458
2   -0.968082
3    0.069727
4   -0.914793
Name: random_nums, dtype: float64
#출력부분을 보면 Name이 추가된 것을 볼 수 있다.

Pandas로 2차원 데이터 다루기 - dataframe

---

DataFrame

• 2-D(2차원) labeled table
• index를 지정할 수 있음

d = {'height':[1,2,3,4],'weight':[30,40,50,60]}

df = pd.DataFrame(d)
df

위와 같이 2차원 테이블 형태로 출력된다.

## dtype 확인
#dataframe는 각column별로 type이 다를 수 있기 때문에 dtypes를 사용
df.dtypes
>>>height    int64
weight    int64
dtype: object

From CSV to dataframe

• Comma Separated Value를 DataFrame으로 생성해줄 수 있다.
• .read_csv를 사용해서 불러올 수 있다.

#동일 경로에  country_wise_latest.csv가 존재할 때
#covid = pd.read_csv("./country_wise_latest.csv")
#내가 저장한 경로
covid = pd.read_csv("./archive/country_wise_latest.csv")
covid

위와 같이 couontry_wise_latest.csv파일을 데이터프레임 형태로 불러온다.

pandas활용 1.일부분만 관찰하기

• head():처음 n개의 데이터 참조

# 위에서부터 5개 관찰하는 함수
covid.head(5)

• tail(): 마지막 n개의 데이터 참조

covid.tail()

pandas활용 2. 데이터 접근하기

• df['column_name'] or df.column_name

covid['Confirmed']
>>>0      36263
1       4880
2      27973
3        907
4        950
       ...  
182    10621
183       10
184     1691
185     4552
186     2704
Name: Confirmed, Length: 187, dtype: int64

1차원 데이터와 유사하게 접근할 수 있다.
covid.Active의 형식으로도 접근할 수 있는데 WHO Region의 경우 이 방식은 안된다.

이렇게 해서 추출한 데이터의 형태는 Series이다.

type(covid['Confirmed'])#DataFrame의 각column은 Series이다.
>>>pandas.core.series.Series

따라서

covid['Confirmed'][0]
>>>36263

이런 형식으로도 추출이 가능하며

covid['Confirmed'][1:5]
>>>1     4880
2    27973
3      907
4      950
Name: Confirmed, dtype: int64

슬라이싱 또한 가능하다.

pandas 활용 3. 조건을 이용해서 데이터 접근하기

조건을 이용해서 조건에 따른 데이터를 추출할 수 있다.

# 신규확진자가 100명이 넘는 나라를 찾아보자
covid[covid["New cases"]>100].head(5)

New cases 부분을 보면 다 100명 이상임을 볼 수 있다.

다음은 WHO지역이 동남아시아인 데이터만 추출해 보았다.

# WHO 지역(WHO Region)이 동남아시아인 나라 찾기
covid['WHO Region'].unique()
>>>array(['Eastern Mediterranean', 'Europe', 'Africa', 'Americas',
       'Western Pacific', 'South-East Asia'], dtype=object)

WHO지역이 동남아시아인 WHO Region열의 이름이 무엇인지 모르기 때문에 unipue()함수를 이용하여 WHO Region의 값을 추출해보았다.

covid[covid['WHO Region']=='South-East Asia']

그 후 조건문 형식을 통해 WHO지역이 동남아시아인 데이터만 추출할 수 있었다.

pandas활용 4. 행을 기준으로 데이터 접근하기

이전엔 열을 기준으로 데이터에 접근했다면 이번엔 행을 기준으로 데이터에 접근합니다.
임의의 도서관 데이터를 생성합니다.

books_dict = {'Available':[True,True,True], 'Location' : [102,215,323],'Genre':['Programming','Physics','Math']}
books_df = pd.DataFrame(books_dict, index = ['버그란 무엇인가','두근두근 물리학', '미분해줘 홈즈'])
books_df

• 인덱스를 이용해서 가져오기 .loc[row,col]

books_df.loc['버그란 무엇인가']
type(books_df.loc['버그란 무엇인가'])
>>>Available           True
Location             102
Genre        Programming
Name: 버그란 무엇인가, dtype: object
>>>pandas.core.series.Series

위에서 데이터를 저장할 때 인덱스를 책 이름으로 저장했기 때문에 loc안에 책이름을 넣습니다. 이렇게 추출한 데이터 또란 series의 형태를 가집니다.

• 숫자 인덱스를 이용해서 가져오기 .iloc[rowindex, colindex]

#인덱스 0행 1열 가져오기
books_df.iloc[0,1]
>>>102

iloc는 인덱스를 정수로만 읽어서 데이터를 가져옵니다.

#인덱스 1행의 인덱스 0-1열 가져오기
books_df.iloc[1,0:2]
>>>Available    True
Location      215
Name: 두근두근 물리학, dtype: object

pandas 활용 5. groupby

groupby()는 총 세단계로 나뉘어집니다.

• Split : 특정한 기준을 바탕으로 데이터프레임을 분할
• Apply : 통계함수 - sum, mean, median,-을 적용해서 각 데이터를 압축
• Combine : Apply 된 결과를 바탕으로 새로운 Series를 생성 (group_key : applied_value)

covid데이터를 가지고 groupby를 실행해보았습니다.

# WHO Region별 확진자수

#1. covid에서 확진자 수 column만 추출한다. : split
#2. 이를 covid의 WHO Region을 기준으로 groupby한다. : Apply, Combine
covid_by_region = covid['Confirmed'].groupby(by = covid["WHO Region"])#by부분은 시리즈형태로 적어주는게 좋다.
covid_by_region.sum()
>>>WHO Region
Africa                    723207
Americas                 8839286
Eastern Mediterranean    1490744
Europe                   3299523
South-East Asia          1835297
Western Pacific           292428
Name: Confirmed, dtype: int64

# 대륙별 평균 감염자 수 sum/국가 수
covid_by_region.mean()
>>>WHO Region
Africa                    15066.812500
Americas                 252551.028571
Eastern Mediterranean     67761.090909
Europe                    58920.053571
South-East Asia          183529.700000
Western Pacific           18276.750000
Name: Confirmed, dtype: float64

코트를 살펴보면 covid에서 필요한 칼럼인 'Confirmed'를 추출하여 by 인자를 기준으로 gropby를 실행합니다. 그 후 sum()함수를 통해 연산을 적용하면 마무리 됩니다.

실습예제

1. covid 데이터에서 100 case 대비 사망률(Deaths / 100 Cases)이 가장 높은 국가는?

covid[covid['Deaths / 100 Cases']==covid['Deaths / 100 Cases'].max()]

max()를 이용하여 Deaths / 100 Cases가 가장 큰 값을 가지는 행을 추출하였다.

2. covid 데이터에서 신규 확진자가 없는 나라 중 WHO Region이 'Europe'를 모두 출력하면?

tmp = covid.copy()
conditions =(tmp['New cases']==0)&(tmp["WHO Region"]=='Europe')
tmp = tmp[conditions]
tmp

2개 이상의 조건을 한 줄에 apply하는 것은 비효율적이므로 conditions라는 변수에 모든 조건을 따로 저장한 후 데이터에 접근하였다.

3. 다음 데이터를 이용해 각 Region별로 아보카도가 가장 비싼 평균가격(AveragePrice)을 출력하면?

avocado = pd.read_csv("./avocado.csv")#데이터 불러오기
avocado.head()#데이터 일부 확인
avocado.columns#칼럼명 확인
avocado['AveragePrice'].groupby(by = avocado['region']).max()
>>>region
Albany                 2.13
Atlanta                2.75
BaltimoreWashington    2.28
Boise                  2.79
Boston                 2.19
...
Syracuse               2.44
Tampa                  3.17
TotalUS                2.09
West                   2.52
WestTexNewMexico       2.93
Name: AveragePrice, dtype: float64

먼저 처음에 데이터를 불러오고 전반적으로 데이터를 살펴보기 위해 head()를 통해 일부를 확인하였습니다.
그 후 Region별로 데이터를 출력하기 위해 columns()을 이용해 칼럼명을 확인한 후 groupby().max() 명령어로 각 region별로 가장 비싼 AveragePrice를 출력했습니다.

끝~!

---