LLAP를 알아보자

rerun.life·2021년 5월 15일
0

Apache Tez가 포함 된 Hive LLAP는 Hive 2.x에서 사용할 수있다.
Tez는 Hive LLAP와 함께 실행되어 더 빠른 쿼리를 지원한다.

LLAP은 asynchronous spindle-aware IO, prefetching and caching of column chunks, multi-threaded JIT-friendly operator pipelines 를 제공하여 hive의 성능을 향상 시켰다.

https://blog.cloudera.com/choosing-the-right-data-warehouse-sql-engine-apache-hive-llap-vs-apache-impala/

LLAP를 사용하지만 속도가 저하된 경우는?

LLAP은 조인과 집계가 관련 된 쿼리에 최적화 되어 있습니다. 다음과 같은 쿼리는 대화형 Hive 클러스터에서 제대로 작동 하지 않습니다.

select * from table where column = "columnvalue"

Hive LLAP에서 point 쿼리 성능을 향상 시키려면 다음 구성을 설정 합니다.

hive.llap.io.enabled=false; (disable LLAP IO)
hive.optimize.index.filter=false; (disable ORC row index)
hive.exec.orc.split.strategy=BI; (to avoid recombining splits)

또한 다음과 같은 구성 변경으로 사용 하 여 성능을 향상 시킬 수 있습니다.

hive.fetch.task.conversion=none
profile
신나는인생

0개의 댓글