파이썬 basic 2강
데이터 결합
merge, join, concat, append가 대표적이다.
대표적인 것만 알아보자.
merge
개념 : pandas의 함수 중 하나로, 공통 컬럼을 기준으로 테이블을 병합한다.
SQL 구문의 JOIN 함수와 가장 유사하다.
주요 옵션 = 파라미터
- on: 조건 컬럼(공통컬럼)이 한개인지 여러개인지
- how: 어떤 조인 방식을 사용할 것인지 (inner, outer, left, right)
- left on / right on : 열기준 병합 시 기준으로 할 열의 양측 이름이 다르다면, 각각 어떤 열을 기준으로 할 지 지정합니다.
- sort: 병합 후 인덱스 정렬 여부(True/False)
- suffixes: 중복된 컬럼 이름의 처리
- indicator: True 로 할 경우, 마지막 열에 병합 정보를 출력해줍니다.
# 기본 작성구문으로, 디폴트값은 inner join
# 공통컬럼값은 합쳐져 하나의 컬럼으로 출력
merge_df = pd.merge(df,df2)
# 위 코드와 동일한 기능입니다. on 절을 사용할 수 있어요.
merge_df = pd.merge(df1,df2, how='inner', on='Customer ID')
# 공통 컬럼이 2개 이상일 때
merge_df = pd.merge(df1, df2, how='inner', on=['공통컬럼1','공통컬럼2'])
# 기준열 이름이 다를 때
merge_df = pd.merge(df1,df2, how='inner', left_on = 'Customer ID', right_on = 'user id')
# 공통 컬럼을 개별로 출력하고 싶을 때
merge_df = pd.merge(df1,df2, how='inner', on='Customer ID', suffixes=('_left','_rihgt'))공통 컬럼에 suffixes를 쓰지 않으면 임의로 정해주긴 한다.
concat
개념 : pandas의 함수 중 하나, 여러 데이터프레임 또는 시리즈를 특정 축을 따라 연결할 때 사용.
주요 옵션
- axis: 수직 결합인지, 수평 결합인지( axis=0: 수직결합(기본값) / axis=1: 수평결합)
- join: 어떤 조인 방식을 사용할 것인지 (inner, outer, left, right)
- join_axes : 조인 축 지정
- keys: 데이터프레임 축이름 지정
- ignore_index=True : 인덱스 재배열
# 기본 작성구문
pd.concat([df1, df2])
# 세로로 결합
pd.concat([df1, df2], axis=0, ignore_index=True, join='inner')
# 가로로 결합
pd.concat([df1, df2], axis=1, ignore_index=True, join='inner')피벗테이블
개념 : 데이터의 열을 기준으로 피벗테이블로 변환시키는 함수이다.
데이터 가공 및 시각화를 위해 데이터프레임을 자유롭게 변환하는 피벗테이블은 필수.
주요옵션
- index: 인덱스(축) 으로 사용될 열
- columns: 열로 사용될 열
- values: 값으로 사용될 열
- index 및 columns에 리스트 형태를 입력할 경우 → 멀티 인덱스 기반 피벗테이블이 생성
- values 에 리스트를 입력 할 경우 → 각 값에 대한 테이블이 연속적으로 생성
- aggfunc: 어떠한 계산을 할 지
- fill_value: NaN 값을 처리하고 싶을 때 사용, fill_value=0 이 가장 많이 사용됨
- dropna: 결측치(na)삭제 여부 결정
- sort: index or columns 기준으로 정렬
# age 라는 축을 기준으로 카테고리별 고객id 카운트
pd.pivot_table(df2, index='Age', columns='Category', values='Customer ID', aggfunc='count')
# age, Category 라는 축을 기준으로 성별 Previous Purchases 최소, 최대값 구하기
pd.pivot_table(df2, index=['Age','Category'],columns='Gender', values='Previous Purchases', aggfunc=['min','max'])
# 성별을 축으로 하고, 사이즈, 나이별 고객id 고유하게 카운트
pd.pivot_table(df2, index=['Gender'],columns=['Size','Age'], values='Customer ID', aggfunc='nunique')이외에 중요한 메서드
lambda
개념 : 람다 함수는 이름이 없는 함수.
일반적으로 함수를 한 번만 사용하거나 함수를 인자로 전달해야 하는 경우에 유용
# lambda 함수를 이용한 홀수 출력하기
mylist = [1, 2, 3, 4, 5]
mylist2 = list(filter(lambda x: x % 2 == 1, mylist))
print(mylist2)
# lambda 함수를 이용한 정렬
mylist = ['apple', 'banana', 'cherry']
mylist2 = sorted(mylist, key=lambda x: len(x))
print(mylist2)split
개념 : 하나의 값으로 묶여 있는 데이터를 문자열 기준으로 나눌 때 사용
특정 문자나 패턴으로 나눌 수 있다.
주요 옵션
- sep: 문자열을 나눌 구분자 기입
- maxsplit: 최대 split 횟수 (디폴트: 모두 다 나눔)
# 예시 문자열 선언
s = "aa.bb.cc.dd.ee.ff.gg"
# '.' 구분자를 기준으로 데이터를 나눔
# 아래 두 코드 결과 동일
s.split('.')
s.split(sep='.')
# '.' 구분자를 기준으로 데이터를 나누고 컬럼으로 받음
# lambda 함수와 결합하여 사용하는 경우
# 7번 반복, a 를 컬럼 구분자로 받아주고, format 함수를 통해 a0, a1, a2 ... 로 표기
# lambda 함수를 통해 '.' 로 구분. 단, len(x.split('.') 즉 7 보다 i 가 작을 때 수행
# 중요
for i in range(7):
df2["a{}".format(i)] = df2['x'].apply(lambda x: x.split('.')[i] if len(x.split('.'))>i else None)rrule
개념: dateutil 라이브러리에 속한 함수로, 날짜 데이터를 원하는 기준에 따라 output 으로 가져올 수 있습니다.
개념 : dateutil 라이브러리에 속한 함수, 날짜 데이터를 원하는 기준에 따라
주요옵션
- freq : 반복 주기를 나타내는 파라미터로, SECONDLY, MINUTELY, HOURLY, DAILY, WEEKLY, MONTHLY, YEARLY
- dtstart: 반복이 시작하는 날짜와 시간을 나타냅니다.
- interval: 주기적으로 반복되는 간격을 나타냅니다.
- count: 생성할 날짜의 최대 수를 나타냅니다.
- until: 반복이 끝나는 날짜와 시간을 나타냅니다.
# 라이브러리 불러오기
from datetime import datetime
from dateutil.rrule import rrule, DAILY, TU
# 시작 날짜, 종료날짜
start_date = datetime(2024, 2, 1)
end_date = datetime(2024, 3, 1)
# 2024-02-01 부터 2024-03-01 까지 strf 사용하여 원하는 데이터 형식으로 출력.
weekly_rule = rrule(DAILY, dtstart=start_date, until=end_date)
for date in weekly_rule:
print(date.strftime('%Y-%m-%d'))
# 빈 리스트 생성 후 날짜를 담아주기
a=[]
for date in weekly_rule:
a.append(date.strftime('%Y-%m-%d'))
# 2023-02-01 부터 2023-03-01 까지 strf 사용하여 원하는 데이터 형식으로 출력
weekly_rule = rrule(DAILY, dtstart=start_date, until=end_date)
# 데이터프레임에서 특정 날짜기간에 해당하는 데이터만 슬라이싱 하기
# 빈 리스트 생성 후 날짜를 담아주기
a=[]
for date in weekly_rule:
a.append(date.strftime('%Y-%m-%d'))
# df3 에 있는 날짜 데이터는 string
# string -> datetimd -> string 의 형태로 변환
# 위에서 받은 리스트에 해당하는 데이터만 필터링하기 위함
df3['Time stamp2'] = pd.to_datetime(df3['Time stamp']).dt.strftime('%Y-%m-%d')
mask =(df3['Time stamp2'].isin(a))
df3[mask]사실 sql 5,6강 정리도 해야 하는데 지금 밖이라 집에서 오늘 거랑 합쳐서 하겠다.
집 가서 오늘 공부 정리해야지.
안녕하세요 오정수입니다