[EDA/Python] Playing with Pandas 📊🐼 1편

🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼🐼

Tidy Data

Tidy data는 데이터가 목적에 맍는 형식을 갖고 있음을 의미한다. R프로그래밍 장인이자 통계학자인 Hadley Wickham에 따르면 Tidy data는 다음과 같은 조건을 만족하는 2-D 테이블이다:

1. each column represents a variable;
2. each row represents an observation;
3. each entry of the table represents a single value, which may come from either categorical(discrete) or continuous spaces.

'tidy'한 테이블을 우리는 'tibble'이라고 부르기도 한다

import pandas as pd 
from io import StringIO
from IPython.display import display            #그래프나  df생성시 활용하면 편하다 

A_csv = """country,year,cases
Afghanistan,1999,745
Brazil,1999,37737
China,1999,212258
Afghanistan,2000,2666
Brazil,2000,80488
China,2000,213766"""

with StringIO(A_csv) as fp:
    A = pd.read_csv(fp)
print("=== A ===")
display(A)

A_csv = """country,year,cases
Afghanistan,1999,745
Brazil,1999,37737
China,1999,212258
Afghanistan,2000,2666
Brazil,2000,80488
China,2000,213766"""

with StringIO(A_csv) as fp:
    A = pd.read_csv(fp)
print("=== A ===")
display(A)

merge()함수를 이용하여 이 두 df를 쉽게 합칠 수 있다.

C = A.merge(B, on=['country', 'year'])
print("\n=== C = merge(A, B) ===")
display(C)

Joins

쉽게 말하자면... 다음과 같다:

• Inner-join(A,B) (default): 둘 사이의 교집합만 살리고 나머지는 버림
• Outer-join(A,B): 둘 사이의 합집합을 살리는데 non-match에 대해서는 NaN으로 채워버림
• Left-join(A,B): A의 모든 행을 살리고 A와 맞는 B만 살림
• Right-join(A,B): left-join 반대

with StringIO("""x,y,z
bug,1,d
rug,2,d
lug,3,d
mug,4,d""") as fp:
    D = pd.read_csv(fp)
print("=== D ===")
display(D)

with StringIO("""x,y,w
hug,-1,e
smug,-2,e
rug,-3,e
tug,-4,e
bug,1,e""") as fp:
    E = pd.read_csv(fp)
print("\n=== E ===")
display(E)

print("\n=== Outer-join (D, E) ===")
display(D.merge(E, on=['x', 'y'], how='outer'))

print("\n=== Left-join (D, E) ===")
display(D.merge(E, on=['x', 'y'], how='left'))

print("\n=== Right-join (D, E) ===")
display(D.merge(E, on=['x', 'y'], how='right'))


print("\n=== Inner-join (D, E) ===")
display(D.merge(E, on=['x', 'y']))

참 쉽죠~?