데이터 전처리(pandas)

데이터 불러오기/저장하기

1. csv 파일 저장하기: .to_csv(’.file_name.csv’)

   • 인덱스를 설정하거나 해제할 수 있다.

2. csv 파일 읽어오기: pd.read_csv(’file_name.csv’)

3. 컬럼 이름 변경

   data = {
       'name': ['Alice', 'Bob', 'Charlie'],
       'age': [25, 30, 35],
       'gender': ['female', 'male', 'male']
   }
   
   df = pd.DataFrame(data)

   df.rename(columns={'나이': 'age', '성별': '남/여'})

데이터 확인하기

1. df.head(): 데이터의 머리 부분을 확인 가능
2. df.info(): 데이터의 정보(컬럼, null 값 확인, 데이터 타입)를 확인 가능
3. df.describe() : 데이터의 다양한 통계량을 요약해준다.

데이터 선택

1. .iloc: 데이터프레임의 행이나 컬럼에 인덱스 값으로 접근
2. .loc : 데이터프레임의 행이나 컬럼에 label이나 boolean array로 접근
3. isin() : Series(시리즈)나 DataFrame(데이터프레임)의 값들 중에서 특정 값이나 리스트 안에 포함된 값들을 찾아내는 메소드

데이터 병합

1. concat() : 데이터프레임을 위아래로 혹은 좌우로 연결
   • axis: 연결하고자 하는 축(방향)을 지정합니다. 기본값은 0으로, 위아래로 연결하는 경우에 해당. 1로 설정하면 좌우로 연결.
   • ignore_index: 기본값은 False이며, 연결된 결과 데이터프레임의 인덱스를 유지. True로 설정하면 새로운 인덱스를 생성. (True → 기존 인덱스를 무시하고 새롭게 인덱스를 설정)
2. merge() : 두 개 이상의 데이터프레임에서 공통된 열이나 인덱스를 기준으로 데이터를 좌우로 합친다
   • left와 right: 병합할 데이터프레임 중 병합되는 기준이 되는 왼쪽(left)과 오른쪽(right) 데이터프레임입니다.
   • how: 병합 방법을 나타내는 매개변수로, 'inner', 'outer', 'left', 'right' 등의 옵션이 있다.
   • on: 병합 기준이 되는 열 이름(혹은 열 이름의 리스트)을 지정.
     • left_on과 right_on: 왼쪽 데이터프레임과 오른쪽 데이터프레임에서 병합할 열 이름이 다른 경우에 사용.

데이터 집계

1. groupby() : 데이터프레임을 그룹화하고, 그룹 단위로 데이터를 분할(split), 적용(apply), 결합(combine)하는 기능을 제공
   • 데이터프레임을 특정 기준에 따라 그룹으로 나누어 집계, 변환, 필터링 등을 할 수 있다.
     1. 그룹 생성: 기준 열(혹은 열들)을 지정하여 데이터프레임을 그룹으로 나눈다.
     2. 그룹에 대한 연산 수행: 그룹 단위로 원하는 연산(평균, 합, 개수 등)을 수행.
     3. 결과 결합: 각 그룹의 연산 결과를 하나의 데이터프레임으로 결합하여 새로운 데이터프레임을 생성.
2. pivot_table() : 데이터프레임에서 피벗 테이블을 생성하는 데 사용
   • 데이터를 재구성하여 요약, 집계된 정보를 보여주는 테이블 형태
   • ex) 피벗 테이블 생성: 날짜를 행 인덱스로, 카테고리를 열 인덱스로, 값은 'Value'의 합으로 집계

     pivot = df.pivot_table(index='Date', columns='Category', values='Value', aggfunc='sum')

3. 데이터 정렬
   • sort_values() : 컬럼 기준
   • sort_index() : 인덱스 기준