spark

Pyspark로 데이터를 정제하고 두가지 조건을 만족하면서 하둡에 써야했다.3가지 key로 row를 정렬50개 파일로 나누어 출력 제한잠깐의 구글링으로 각각을 검색 후 아래와 같은 코드로 파일출력을 한 후 확인을 했는데 파일은 50개지만 정렬이 되지 않았다.repart