# HBase

11개의 포스트

[빅데이터] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어

분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어 개요 및 오픈소스

2022년 5월 21일
·
0개의 댓글

Apache Hive - Apache HBase 연동

$hive --auxpath $HIVE_HOME/lib/hive-hbase-handler-2.3.2.jar,\\$HIVE_HOME/lib/zookeeper-3.4.6.jar,$HIVE_HOME/lib/guava-14.0.1.jar \\\--hiveconf hbase.m

2022년 5월 4일
·
0개의 댓글
post-thumbnail

HBase Bloom Filter

Bloom Filter는 특정 집합내에 특정 원소가 존재하는지 확인하는데 사용되는 자료구조이다. 따라서 I/O의 관점에서 봤을 때, 특정 파일내부에 원하는 데이터의 여부를 빠르게 알 수 있기 때문에 I/O 횟수를 줄일 수 있다는 장점이 있다. 하지만, Bloom Fil

2022년 2월 10일
·
0개의 댓글
post-thumbnail

[HBase] HBase 개요

HDFS 위에 구축된 비관계형 DB (Non-relational)수평적으로 확장성을 가짐 (scalable)HDFS 기반으로 분할 저장된 데이터를 SQL로 빠르게 조회 가능HDFS 에 저장된 데이터를 HBase 를 활용해 대규모로 외부로 내보낼 수 있음SQL 미지원,

2022년 1월 19일
·
0개의 댓글
post-thumbnail

HBase Overall Structure Part2.

클라이언트에서 데이터를 PUT하라는 쿼리가 발생하면, 해당 데이터는 WAL에 기록된다. WAL은 Write-Ahead Log로 입력된 데이터를 append형식으로 관리한다. WAL에 쌓인 데이터는 Memstore로 copy가 된다. 이때 클라이언트에 데이터가 성공적으로

2022년 1월 18일
·
0개의 댓글
post-thumbnail

HBase Overall Structure Part 1.

Hadoop Software Library는 간단한 프로그래밍 모델을 사용하여 여러대의 클러스터에서 대규모 데이터 세트를 분산 처리 할 수 있게 해주는 프레임워크이다. Hadoop은 대용량 데이터를 적은 비용으로 더 빠르게 분석할 수 있는 소프트웨어이며, 빅데이터 처리

2022년 1월 18일
·
0개의 댓글
post-thumbnail

HBase BlockCache

HFile의 구성 요소중 하나인 Data Block은 Key-Value의 형태로 이루어진 데이터를 저장하고 있는 block이다. 즉 Data Block은, MemStore로 부터 Flush operation이 수행되었을 때, MemStore에 저장하고 있던 Key-Va

2022년 1월 12일
·
0개의 댓글

[Line Developer Day 2021] LINE Messaging Platform에서 HBase와 Kafka 데이터 파이프라인 활용 사례

개요 2021.11.10~11 진행되는 Line 개발자 컨퍼런스 세션 시청 후 정리 link : https://linedevday.linecorp.com/2021/ko/ DAY1 13:40-14:20 KST LINE Messaging Platform에서 HBase와 K

2021년 12월 15일
·
0개의 댓글
post-thumbnail

Pinpoint 적용하기

회사에서 기존 서비스에 적용할 APM이 필요하여 여러 가지 방법을 찾아보던 중 네이버에서 개발한 Pinpoint를 도입하기로 결정했다.

2021년 9월 24일
·
0개의 댓글
post-thumbnail

HBase

아파치 HBase는 Hadoop을 위한 공개 NoSQL 분산 데이터 베이스이다. 아파치 소프트웨어 재단에서 아파치 하둡 프로젝트 일부로서 개발되었으며 하둡의 분산 파일 시스템인 HDFS위에서 동작한다. 대량의 흩어져 있는 데이터 저장을 위해 falut-tolerent

2021년 4월 27일
·
0개의 댓글
post-thumbnail

하둡 에코시스템

높은 확장성과 신뢰성을 보유한 분산 스토리지와 분산 처리 기능을 제공하기 위해 다양한 소프트웨어를 밀접하게 통합한 에코시스템.

2020년 10월 3일
·
0개의 댓글