전처리 - 결측치 확인

류소리·2023년 1월 8일
0

전처리

목록 보기
6/11

null값 확인,isnull().sum()

  • df.isnull().sum()

Series null값 확인, isnull().values.any()

  • df.isnull().values.any()

null값 대체, fillna()

: 메서드는 DataFrame에서 결측값을 원하는 값으로 변경하는 메서드입니다.

  • fillna()

  • df.fillna(0, inplace=True)

  • df.fillna(method='bfill)
    :결측값이 바로 아래값과 동일하게 설정됩니다.
    ※ df.backfill( )이나 df.bfill( )과 완전히 동일한 기능을 수행합니다.

-df.fillna(method='ffill')
: 결측값이 바로 위값과 동일하게 설정됩니다.
※ df.pad( )나 df.ffill( )과 완전히 동일한 기능을 수행합니다.

null값 제거, dropna()

: 메서드는 DataFramde내의 결측값이 포함된 레이블을 제거하는 메서드입니다.

  • dropna()
  • df.dropna(subset=["특정컬럼명'], inplace=True)

결측값 없는 인덱스 확인 (first_valid_index / last_valid_index)

  • first_valid_index : 메서드의 경우 처음으로 결측치가 아닌값이 나오는 행의 인덱스를 출력합니다.

  • df.first_valid_index()

  • last_valid_index : 메서드의 경우 마지막으로 결측치가 아닌값이 나오는 행의 인덱스를 출력합니다.

  • df.last_valid_index()

즉, 결측값만 있는 행은 무시한다고 생각하면 됩니다.


출처:
https://2030bigdata.tistory.com/177

profile
새싹 빅테이터 개발자

0개의 댓글