hive partition 정리하기

hive table에 매일매일 데이터를 쌓으며 방치하다보면, 데이터가 눈 깜짝할 새에 늘어나버린다. 필요한 이상으로.

주기적으로 파티션의 데이터를 지워줘야 하는데 기본적인 방법들을 몇가지 나열해본다.

1. 기본적인 하나의 파티션 지우기

조건

alter table {table명} drop if exists partition (label ='science') 

결과

• science라는 partition을 포함하는 모든 데이터가 지워진다.

2. 2개 이상의 파티션 조건으로 지우기

조건

alter table {table명} drop if exists partition (label ='science', date_id='2019-12-11') 

결과

• science라는 partition 내의 date_id가 2019-12-11인 모든 파티션 데이터가 지워진다.
• 파티션간의 순서는 상관없다.

3. 범위 지정 파티션 지우기

조건

alter table {table명} drop if exists partition (label ='science', date_id < '2019-12-11') 

결과

• science라는 partition 내의 date_id가 2019-12-11보다 과거의 파티션 데이터가 지워진다.
• 파티션간의 순서는 상관없다.