pandas :: Pandas Built-in functions

import pandas as pd
from pandas import Series
from pandas import DataFrame

import numpy as np

describe

• Numeric type 데이터의 요약 정보를 보여줌

df = pd.read_csv("wages.csv")
df.head()

df.describe()

unique

• series data의 유일한 값을 list로 반환

# 유일한 인종의 값 list
df.race.unique()

array(['white', 'other', 'hispanic', 'black'], dtype=object)

# dict type으로 index
np.array(dict(enumerate(df["race"].unique())))

array({0: 'white', 1: 'other', 2: 'hispanic', 3: 'black'}, dtype=object)

# label index 값과 label값 각각 추출
value = list(map(int, np.array(list(enumerate(df["race"].unique())))[:, 0].tolist()))
key = np.array(list(enumerate(df["race"].unique())), dtype=str)[:, 1].tolist()

value, key

([0, 1, 2, 3], ['white', 'other', 'hispanic', 'black'])

# label str -> index 값으로 변환
df["race"].replace(to_replace=key, value=value, inplace=True) 
df["race"]

0 0
1 0
2 0
3 1
4 0
..
1374 0
1375 0
1376 0
1377 0
1378 0
Name: race, Length: 1379, dtype: int64

# 성별에 대해서도 동일하게 적용
value = list(map(int, np.array(list(enumerate(df["sex"].unique())))[:, 0].tolist()))
key = np.array(list(enumerate(df["sex"].unique())), dtype=str)[:, 1].tolist()

value, key

([0, 1], ['male', 'female'])

df["sex"].replace(to_replace=key, value=value, inplace=True)
df.head(5)

sum

• 기본적인 column 또는 row 값의 연산을 지원
• sub, mean, min, max, count, median, mad, var 등

df.sum(axis=0)  #column별

earn 4.474344e+07
height 9.183125e+04
sex 8.590000e+02
race 5.610000e+02
ed 1.841600e+04
age 6.250800e+04
dtype: float64

df.sum(axis=1)  #row별

0 79710.189011
1 96542.218643
2 48824.436947
3 80654.316153
4 82213.425498
...
1374 30290.060363
1375 25019.829514
1376 13824.311312
1377 95563.664410
1378 9686.681857
Length: 1379, dtype: float64

isnull

• column 또는 row 값의 NaN (null) 값의 index를 반환함

df.isnull()

df.isnull().sum()  #null인 값의 합

earn 0
height 0
sex 0
race 0
ed 0
age 0
dtype: int64

sort_values

• column값을 기준으로 데이터를 sorting

df.sort_values(["age", "earn"], ascending=True).head(10)

Correlation & Covatiance

• 상관계수와 공분산을 구하는 함수
• corr, cov, corrwith

df.age.corr(df.earn)

0.07400349177836055

df.age.cov(df.earn)

36523.6992104089

df.corrwith(df.earn)

earn 1.000000
height 0.291600
sex -0.337328
race -0.063977
ed 0.350374
age 0.074003
dtype: float64

df.corr()

---

https://www.boostcourse.org/ai222/lecture/23822/