[pandas] 코드 정리하기

고유한 값 목록 출력고유한 값 개수 출력 (NA 제외)

서론 python에서 pandas로 대용량 데이터를 처리하면서 속도가 매우 느려서 전처리에 어려움을 겪었다. 불러오려는 데이터의 크기는 3~5GB 였으며, '|'로 분리된 csv파일이다. 이를 기준으로 시도했던 방안을 정리했다. 1. 일부 row를 통해 컬럼과 형

isnull() (=isna()) 1. NA 여부 판단(T/F) |index|col1|col2| |---|---|---| |0|false|false| |1|false|false| |2|false|false| |3|false|false| |4|false|true|