[Pandas 기초] 중복 데이터 확인, 중복된 행 제거

데이터 전처리에 중복된 행 또는 중복값을 확인하고 처리하는 작업이 필요하다.
중복 데이터(행)을 확인하기 위해 duplicated()를 사용하고,
중복값을 지우기 위해 drop_duplicates()를 쓰면 된다.

다음 아래 두 줄이 같은 데이터이다.

데이터 프레임이 커지면 눈으로 확인하기 어려우므로 중복 데이터가 있는지 확인해야 한다.

중복 데이터 있는지 확인 | df.duplicated()

중복 데이터 삭제 | df.drop_duplicates()

df.drop_duplicates()

중복값이 사라진 걸 확인할 수 있다.