EDA(탐색적 데이터분석)

---

EDA의 Process

1. 분석의 목적과 변수 확인
2. 데이터 전체적으로 살펴보기
3. 데이터의 개별 속성 파악하기

1. 분석의 목적과 변수 확인

먼저 분석할 데이터를 먼저 불러옵니다.

# 데이터 불러오기
titanic_df = pd.read_csv("./train.csv")

• 분석 목적 : 살아남은 사람들은 어떤 특징을 가지고 있었는가

#상위 5개 데이터 확인
titanic_df.head(5)

각 column을 확인할 수 있다.

column설명

• PassengerId: 승객 ID (unique 한 번호)
• Survived: 살아남았는지를 나타냄 - 0 = No, 1 = Yes
• pclass: #등석 - 1 = 1st, 2 = 2nd, 3 = 3rd
• sibsp: #명의 형제자매/와이프와 동승했는지를 나타냄 (형제자매/와이프가 동승하지 않았으면 0)
• parch: #명의 부모/아이와 동승했는지를 나타냄 (부모/아이가 동승하지 않았으면 0)
• ticket: 티켓번호
• fare : 탑승객이 얼마를 지불했는지
• cabin: 선실번호 (짐을 어디다 놓았는지)
• embarked: 어느 항구에서 탔는지를 나타냄 - C = Cherbourg, Q = Queenstown, S = Southampton

# 각 Column의 데이터 타입 확인하기
titanic_df.dtypes
>>>PassengerId      int64
Survived         int64
Pclass           int64
Name            object
Sex             object
Age            float64
SibSp            int64
Parch            int64
Ticket          object
Fare           float64
Cabin           object
Embarked        object
dtype: object

2. 데이터 전체적으로 살펴보기

이제 불러온 데이터를 전체적으로 한 번 살펴본다.

# 데이터 전체 정보를 얻는 함수 : .describe()

titanic_df.describe()#수치형 데이터에 대한 요약만을 제공

PassengerId부분은 단순히 지정된 숫자이기 때문에 필요 없다.
Age부분을 살펴보면 mean값과 중앙값이 20대이고 3분위의 값이 38세로 대부분의 나이가 그렇게 많지 않다는 것을 알 수 있다.

#상관계수 확인!
titanic_df.corr(numeric_only=True)
# correlation is not causation
#상관성 : A up ,B up
#인과성 : A->B

corr()각 숫자형 변수간의 상관계수를 데이터프레임 형태로 나타내는 함수인데, 여기서 주의할 점은 상관계수가 인과관계를 의미하는 것은 아니라는 것이다.

corr값을 살펴보면 Pclass와 Survived사이에서 음의 상관계수를 가지는 것을 볼 수 있는데, Pclass는 좋은 자리일수록 그 값이 낮기 때문에 좋은 자리일수록 survived의 값은 낮아지는 경향을 보이는 것을 알 수 있다.

다음으론 데이터 셋의 결측치 데이터를 확인한다.

# 결측치 확인
titanic_df.isnull().sum()
#age, cabin,embarked에서 결측치 발견
>>>PassengerId      0
Survived         0
Pclass           0
Name             0
Sex              0
Age            177
SibSp            0
Parch            0
Ticket           0
Fare             0
Cabin          687
Embarked         2
dtype: int64

3. 데이터의 개별 속성 파악하기

데이터를 전체적으로 한 번 살펴보았으므로 이번엔 개별 데이터별로 속성을 파악한다.

1. Survived Column

# 생존자, 사망자 명수는?

titanic_df["Survived"].value_counts()
>>>Survived
0    549
1    342
Name: count, dtype: int64

사망자 549명 생존자 342명으로 사망자가 더 많게 나왔다.

# 생존자수와 사망자수를 Barplot으로 그려보기 sns.countplot()

sns.countplot(x ='Survived', data = titanic_df)
plt.show()

시각화를 통해 그 결과를 더 간결하게 확인할 수 있다.

2. PclassPclass

#Pcalss에 따른 인원 파악

titanic_df[['Pclass','Survived']].groupby(['Pclass']).count()

#생존자 인원
titanic_df[['Pclass','Survived']].groupby(['Pclass']).sum()

생존자의 값이 1이므로 sum()을 해주면 생존자의 인원 수를 알 수 있다.

Pclass별로 총 인원수가 다르므로 생존 비율로 표시해봤다.

#생존 비율
titanic_df[['Pclass','Survived']].groupby(['Pclass']).mean()

좋은 class일수록 생존비율이 더 높은것을 알 수 있다.

3. Sex
   groupby를 통해 성별 생존자 사망자 수를 확인해보았다.

titanic_df.groupby(['Survived', 'Sex'])['Survived'].count()
>>>Survived  Sex   
0         female     81
          male      468
1         female    233
          male      109
Name: Survived, dtype: int64

이를 시각화해보았다.

sns.catplot(x = 'Sex', col = 'Survived', kind = 'count',data = titanic_df)
plt.show()

남자의 생존자 비율보다 여자의 생존자 비율이 월등히 높음을 알 수 있다.

4. Age

#Survived 1,0 과 Age의 경향성

#하나의 축 위에 두개의 그래프를 그려주기 위해 밑에 명령어 실행
fig, ax = plt.subplots(1,1,figsize = (10,5))
sns.kdeplot(x = titanic_df[titanic_df['Survived']==1]['Age'],ax = ax)
sns.kdeplot(x = titanic_df[titanic_df['Survived']==0]['Age'],ax = ax)
plt.legend(['Survivde','Dead'])#데이터 구분을 위한 범례

plt.show()

Age는 연속형 변수이기 때문에 KDEplot을 활용해 시각화를 해주었다.
그래프를 살펴보면 20세보다 더 어린 나이대의 승객은 생존율이 높은 것을 볼 수 있고 2,30대의 승객은 사망율이 더 높은 것을 볼 수 있다.

Apendix

위에서 볼 수 있듯이 Sex와 Pclass, Age는 Survived와 관련이 있다고 볼 수 있었다.
그래서 이번엔 두가지 변수를 모아 어떤 영향이 있는지 시각화를 해보려 한다.

1. Sex+Pclass vs survived

sns.catplot(x = "Pclass", y = 'Survived', hue = 'Sex',kind = 'point', data = titanic_df)
plt.show()

plot의 x축을 Pclass, y축을Survived로 하고 hue인자를 Sex로 두어 각 클래스를 성별로 구분하여 survived의 값을 시각화하였다.

2. Age+Pclass

# Age graph with Pclass

titanic_df['Age'][titanic_df.Pclass == 1].plot(kind = 'kde')
titanic_df['Age'][titanic_df.Pclass == 2].plot(kind = 'kde')
titanic_df['Age'][titanic_df.Pclass == 3].plot(kind = 'kde')
plt.legend(['1st class','2nd class','3rd class'])
plt.show()

이번에는 Pclass별로 Age가 어떻게 분포되어 있는지 시각화를 진행했다.
먼저 titanic_df에서 age열을 가져오고 각 Pclass별로 KDEplot를 생성했다.

대체로 좋은 class일수록 평균 연령대가 높은 것으로 나타났다.

끝~!

---