HBase migration (export/import)

HBase 데이터를 migration 하는 경우 정리해봄

이미 Hadoop cluster와 HBase가 함께 결합되어 구동되는 상황이라 가정합니다.
migration 순서는 아래 순서대로 진행함

원본 HBase에서 export 단계

1. HBase data를 HDFS로 다운

2. HDFS 데이터를 local file system 으로 복사

3. migration 할 서버로 파일 복사

아래 명령어들 따르시면 export가 진행됩니다.
export 단계 당 아래 명령어 하나씩이라 보시면 됩니다.

$ hbase org.apache.hadoop.hbase.mapreduce.Export [table_name] [HDFS Path]
$ hadoop fs -get [HDFS Path] [Local Path]
$ rsync -avr [Local Path] [destination server]

새로운 HBase에 Import 단계

1. Hadoop, Hbase가 구동중이고, HTable은 생성되었다 가정합니다.

2. local file system에 있는 파일을 HDFS로 복사

3. HBase로 import 수행

아래 명령어들 따르시면 import가 진행됩니다.
import에서 1번째 단계는 제외하고 2~3번 단계에 해당하는 명령어입니다.

$ hadoop fs -put [Local Path] [HDFS Path]
$ hbase org.apache.hadoop.hbase.mapreduce.Import [table_name] [HDFS Path]

그럼, 이만!