[pandas] excel, text file 읽기

전주미·2024년 4월 3일

analysis cctv csv data excel pandas

Pandas

목록 보기

1/2

0. pandas로 csv, excel file 읽기

pandas(Powerful Python data analysis toolkit)는 R만큼 강력한 데이터 핸들링 성능을 제공하는 모듈로서, 단일 프로세스에서는 최대효율을 내는 것이 특징이자 큰 장점이다. pandas는 코딩이 가능하고 응용 가능한 엑셀로 받아들여도 된다.

먼저 내가 가지고 있는 데이터 파일명을 적어두겠다.

01. Seoul_CCTV.csv
01. Seoul_Population.xls

0_1 pandas 선언

pandas에서 엑셀이나 텍스트 파일을 읽기 위해서는 먼저 pandas를 선언해주어야 한다.

jupyter notebook에서 import명령을 통해 pandas를 사용하겠다고 선언해보자.
import pandas as pd는 pandas module을 사용할것인데, 이름이 길기 때문에 pd라고 부르겠다는 것이다.

import pandas as pd

만약 오류가 난다면 pandas가 제대로 깔리지 않았음을 의미하므로 아래의 코드를 입력해주면 해결된다.

!conda install -y pandas

나는 이미 깔려 있어서 #all requested packages already installed 라는 내용이 나왔다.

0_2 pandas에서 csv, excel file 읽기

1. csv file 읽기

파일을 CCTVSeoul이라고 변수명을 정해주고, "모듈.read확장자(파일명)" 명령으로 파일을 읽을 수 있다. 긴 파일명의 경우 끝까지 입력하지말고 적당한 곳에서 tab키를 눌러주면 자동으로 파일명이 완성된다. 한글의 경우 encoding 설정이 필수이므로 아래와 같이 encoding="uft-8" 을 꼭 타이핑해주자!

CCTV_Seoul = pd.read_csv("../data/01. Seoul_CCTV.csv", encoding="utf-8")

CCTV_Seoul.head()

CCTV_Seoul.tail()

head() : 데이터 내용을 불러올떄 상위 5개의 값을 알 수 있다.
tail() : 데이터 내용 중 하위 5개의 값을 알 수 있다.

파일을 불러오니 Colum Name, Column, Index, Values의 값을 알 수 있다.

(1) column 이름 조회

column의 이름을 조회할 수 있다.
column에 index를 넣어주면 그 자리에 있는 column 이름만을 조회할 수도 있다.

(2) column 이름 바꾸기

column의 이름을 바꾸고 싶다면 rename으로 바꿔줄 수 있다.
column[0]의 기관명 -> 구별 로 바꾸어 보겠다. 바꾸어줄때 inplace=True 를 꼭 해주어야 즉시 column명이 바뀌게 된다.

CCTV_Seoul.rename(columns={CCTV_Seoul.columns[0]: "구별"}, inplce=True)

CCTV_Seoul.head()

2. excel file 읽기

위와 마찬가지로 파일을 popSeoul이라고 변수명을 정해주고, "모듈.read확장자(파일명)" 명령으로 파일을 읽을 수 있다.

pop_Seoul = pd.read_csv("../data/01. Seoul_Population.excel")

pop_Seoul.head()

그런데 불러온 표 모양이 이상하다?

엑셀 원본을 살펴보니, 애초에 그렇게 저장된 파일이였다.

(1) header, usecols

이럴 땐, 자료를 읽기 시작할 행(header)을 지정해주고, 읽어올 엑셀의 컬럼(usecols)을 설정해주자!

pop_Seoul = pd.read_excel(
    "../data/01. Seoul_Population.xls", header=2, usecols="B, D, G, J, N"
)

pop_Seoul.head()

짠! 이렇게 내가 읽고싶은 자료만 쏙 골라서 표현할 수 있다!

(2) column 이름 바꾸기

위와 같이 rename으로 column명을 보기쉽게 바꿔주려고 한다.

pop_Seoul.rename(
	columns={
		pop_Seoul.column[0]: "구별"
		pop_Seoul.column[1]: "인구수"
		pop_Seoul.column[2]: "한국인"
		pop_Seoul.column[3]: "외국인"
		pop_Seoul.column[4]: "고령자"
	},
    inplace=True,
)
pop_Seoul.head()