빅분기 준비 실전 예제 1

캐글 빅분기 놀이터 예제

1. IQR 예제

Q. 데이터에서 IQR을 활용해 Fare컬럼의 이상치를 찾고, 이상치 데이터의 여성 수를 구하시오

# 라이브러리 및 데이터 불러오기
import pandas as pd

df = pd.read_csv("../input/titanic/train.csv")
print(df.isnull().sum())

target = df['Fare']

Fare_Q1 = target.quantile(0.25)
Fare_Q3 = target.quantile(0.75)

print(Fare_Q1, Fare_Q3)

IQR = Fare_Q3 - Fare_Q1
print(IQR)

answer = df[(df.Fare < (Fare_Q1 - IQR*1.5)) | (df.Fare > (Fare_Q3 + IQR*1.5))]
print(answer)

answer = answer[answer.Sex == 'female']
print(len(answer))

2. 이상치

• Pandas에서 dataFrame은 numpy 배열이나 기본 리스트와는 다르게, ceil 같은 메서드를 직접 사용할 수 없다 ;;
  • 따라서 numpy의 ceil 함수를 apply를 통해 적용하거나 (series, dataframe 모두 적용가능)
  • 그냥 numpy 에서 써라...

Pandas 이용한 풀이

# 라이브러리 및 데이터 불러오기
import pandas as pd
import numpy as np
df = pd.read_csv('../input/bigdatacertificationkr/basic1.csv')

print(df.head())
print(df.isnull().sum())

target = df[~df['age'].astype(str).str.contains(".0")]
print(target)

target_ceil = target['age'].apply(np.ceil).mean()
target_floor = target['age'].apply(np.floor).mean()
target_trunc = target['age'].apply(np.trunc).mean()

print(target_ceil + target_floor + target_trunc)

Numpy 바로 적용한 풀이

import pandas as pd
import numpy as np
df = pd.read_csv('../input/bigdatacertificationkr/basic1.csv')

target = df[~df['age'].astype(str).str.contains('.0')]

age_ceil = np.ceil(target.age).mean()
age_floor = np.floor(target.age).mean()
age_trunc = np.trunc(target.age).mean()

print(age_ceil + age_floor + age_trunc)