상황
Opentsdb에서 사용하는 Table생성 과정에서 발생한 에러
시스템구성
Zookeeper - HDFS(하둡파일시스템) - HBase - Opentsdb
에러
- Master Startup Cannot progress
- opentsdb create_table
org.apache.hadoop.hbase.DoNotRetryIOExeption: Compression algorithm 'lzo' previously failed test.
에러에 대한 시도
- Master Startup 같은 경우 Hbase가 비정상적으로 종료되거나 hdfs와의 연결이 제대로 안 될 시 생기는 에러였음 hdfs-hbase재실행에 있어 기존 리소스를 다 지우는 형태로 진행을 함
그 과정에서 데이터가 저장되는 zookeeper 내에 데이터도 지움
#zookeeper 데이터 제거
zookeeper/bin
./zkCli.sh -server zookeeper-host:2181
deleteall /hadoop-ha #hdfs데이터
deleteall /hbase #hbase테이블관련
#hdfs 데이터 제거
hdfs data directory 제거
#hbase 실행
hbase/bin
./start-hbase.sh
- Opentsdb Create_table시 에러 발생 해결방법
#hbase-site.xml
<configuration>
<property>
<name>hbase.table.sanity.checks</name>
<value>false</value>
</property>
</configuration>
#각자의 환경변수를 기입하여 테이블생성하기
opentsdb/src/create_table.sh
#example
env HBASE_HOME=/hadoop/hbase TSDB_TABLE=tsdb UID_TABLE=tsdb-uid TREE_TABLE=tsdb-tree META_TABLE=tsdb-meta ./src/create_table.sh# opentsdb.conf
tsd.storage.hbase.data_table = tsdb #매칭되어야하는 부분들
tsd.storage.hbase.uid_table = tsdb-uid
tsd.storage.hbase.meta_table = tsdb-meta
tsd.storage.hbase.tree_table = tsdb-tree사소한 발견
hbase web 접속 시
regions의 값들은 raw형태로 저장되는 테이블 값들
테이블 생성 전에는 regions 각각 1 1 로 meta와 namespace로 총 2개가 생성 됨
테이블 생성 후에는 4개의 raw가 더해지면서 총 6개가 되는거임
madame의 Techblog