[Week 1] Pandas

🚩 Pandas

---

🍏 Groupby

df.groupby("Team")["Points"].mean()
# Team 별로 Points 칼럼 데이터들의 평균값들을 계산

h_index = df.groupby(["Team", "Year")["Points"].sum()
# Team별로 Year별로 Points 칼럼 데이터들의 합을 계산

# groupby에 의해 split된 상태 추출
grouped = df.groupby("Team")
for name, group in grouped:
	print(name)
    print(group)

🟨 Aggregation

• 요약된 통계정보를 추출
• grouped.agg(max)

🟨 Transformation

• 해당 정보를 변환 (아래 코드: 그룹별로 함수(lambda) 적용)
• 
• 그룹별로 연산을 해주고 각각의 값에 영향을 줄 수 있게 해준다.

🟨 Filteration

• 특정 정보를 제거하여 필터링 기능
• 

🍏 Pivot Table

• 데이터 값들: duration 칼럼값들
• index 설정: month, item 칼럼별로
• 테이블의 칼럼(속성)들: network 칼럼들로
• aggregation function: sum() 해서 값들 표현
• NaN이 없도록 0으로 채워주기

df_phone.groupby(['month','item','network'])['duration'].sum().unstack()
하면 같게 나온다.

🍏 Crosstab

• 두 칼럼의 교차 빈도, 비율, 덧셈 등을 구할 때 사용
• Pivot table의 특수한 형태
• user-item Rating matrix 등을 만들 때 사용

🍏 merge & concat

🟨 merge

• 2개의 데이터(ex. 테이블)를 하나로 합칠 때
• 위의 이미지에서 subject_id가 겹치므로 겹치는 4,5,7,8만 합쳐서 subject_id를 기준으로 테이블 병합이 가능하다.
  pd.merge(df_a, df_b, on='subject_id')
• on을 쓰면 양쪽 데이터에 같은 기준 칼럼이 존재해야한다.
  pd.merge(df_a, df_b, left_on='subject_id', right_on='subject_id')
• 두 dataframe이 column명이 다를 때

🍏 join

• inner join: A와 B의 공통된 데이터들만
• full join: 공통된 데이터들은 붙이고 아닌 것들도 전부 보여주기
• left join: 왼쪽에 있는 데이터들을 전부 보여주고 같은 칼럼명이지만 오른쪽에서 없는 데이터들은 NaN으로 표시 (공통된 부분은 합침)
• right join: 오른쪽에 있는 데이터들을 전부 보여주고 같은 칼럼명이지만 왼쪽에서 없는 데이터들은 NaN으로 표시 (공통된 부분은 합침)
  pd.merge(df_a, df_b, on='subject_id', how='left / right / inner / outer')

🟨 index를 기준으로 join하기

pd.merge(df_a, df_b, right_index=True, left_index=True)

🍏 concat

• 데이터 이어붙이기
  df_new = pd.concat([df_a, df_b])
df_a.append(df_b)
• axis를 1로 지정하면 가로로 붙이고 0으로 지정하면 세로로 붙인다.