gzip snappy

https://wikidocs.net/131503https://www.adaltas.com/en/2021/03/22/performance-comparison-of-file-formats/https://blog.openbridge.com/wha

약 11시간 전
·
0개의 댓글
·

asdf

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html Sqoop’s export process will read a set of delimited text files from HDFS in p오민석 https&#x

6일 전
·
0개의 댓글
·

Index

Rowidhttps://siahn95.tistory.com/entry/DB-%EC%9D%B8%EB%8D%B1%EC%8A%A4%EB%9E%80-3-%EC%9D%B8%EB%8D%B1%EC%8A%A4-%EC%8A%A4%EC%BA%94-%EB%B0%A9%EC%8B%9

2022년 7월 27일
·
0개의 댓글
·

dd

CREATE TABLE streamlit_day_final4( gu_name VARCHAR(30), waiting_personal_num INT, waiting_company_num INT, profit INT, visited_personal

2022년 7월 25일
·
0개의 댓글
·

hive

CREATE EXTERNAL TABLE tb_sample ( userid INT, viewTime INT)PARTITIONED BY (year int, month int)STORED AS PARQUETLOCATION '/data/tb_sample'INSERT

2022년 7월 13일
·
0개의 댓글
·
post-thumbnail

Airflow

Referencehttps://velog.io/@hyunwoozz/airflow%EC%9D%98-%EC%8B%B1%EA%B8%80-%EB%85%B8%EB%93%9C-%EB%A9%80%ED%8B%B0-%EB%85%B8%EB%93%9C-%EC%95%84%ED%82

2022년 7월 9일
·
0개의 댓글
·

kpi

고객수고객 총 잔고(예금 irp)카드 신규 수외환 거래액대출 신규액

2022년 7월 4일
·
0개의 댓글
·

프론티어 플젝

kafka + redshift 연동https://docs.confluent.io/5.5.1/connect/kafka-connect-aws-redshift/index.htmlhttps://velog.io/@ililil9482/Kafka-Connectht

2022년 6월 29일
·
0개의 댓글
·

Kafka 클러스터 구축

sudo apt-get updatesudo apt-get install openjdk-8-jdkexport JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java)))) export PATH=$PATH:$JAVA_HOME/

2022년 6월 25일
·
0개의 댓글
·

알아봐야할 기술

Cloud DWsnowflakeredshiftdatabricks

2022년 6월 21일
·
0개의 댓글
·

Kafka

이벤트성 데이터 처리를 위함 (ex. 카톡에서 연말/연초, tps 급증)기존의 Direct 방식 : n/w 부하, 데이터 받는 쪽에서 out of memeory. 중간에 서버 두어서 ftp로 하면 관리해야할 포인트가 많다. 불규칙한 유입량에 대해 사전에 ftp서버를 더

2022년 6월 21일
·
0개의 댓글
·
post-thumbnail

Zookeeper

분산 어플리케이션에서 사용되는 코디네이션 시스템으로, 안정적인 서비스할 수 있도록 분산 된 어플리케이션을 중앙에서 관리Server는 주키퍼, Client는 하둡,카프카 등상태정보들은 znode에 key-value형태로 저장되어, znode에 저장된 것을 분산 어플리케이

2022년 6월 18일
·
0개의 댓글
·

플젝예시

https://developer.hpe.com/blog/performance-tuning-of-an-apache-kafkaspark-streaming-system-telecom-case/https://www.researchgate.net/figure/

2022년 5월 31일
·
0개의 댓글
·
post-thumbnail

Impala & Hive & Sqoop

https://d2.naver.com/helloworld/246342

2022년 5월 10일
·
0개의 댓글
·
post-thumbnail

Nifi

https://www.popit.kr/bigdata-platform-based-on-nifi/https://www.popit.kr/apache-nifi-overview-and-install/https://paulsmooth.tistory.co

2022년 5월 10일
·
0개의 댓글
·
post-thumbnail

Yarn & MapReduce

NameNode : 메타데이터 및 데이터노드 관리DataNode : 파일 저장하고, 파일은 블록단위로 저장.클러스터에 작업 제출되면 수많은 작업들을 관리하고, 특정 작업에 사용될 자원을 관리(yarn)https://mr-devlife.com/yarn%EC%9D

2022년 4월 23일
·
0개의 댓글
·
post-thumbnail

Kafka & Spark

Zookeeper 같은 코디네티어가 따로 없음Topic 대신 Exchange와 Queue & binding 통해서 메세지 소비높은 Throughput보다는 지정된 수신이에게 원하는 방식으로(Exchange) 신뢰성 있게 전달에 초점. 복잡한 라우팅.

2022년 4월 21일
·
0개의 댓글
·
post-thumbnail

ELK 스택 구축

ELK란?ElasticSearch, LogStash, Kibana 조합으로 로그 수집 - 로그 저장 및 검색 - 시각화로 쓰이게 된다. Logstash는 실시간 파이프라인 기능을 갖는 데이터 수집 엔지이며, Input을 받아 Filter를통해 가공하고 Output이 E

2022년 4월 20일
·
0개의 댓글
·

하둡 구축

https://www.novixys.com/blog/setup-apache-hadoop-cluster-aws-ec2/https://1mini2.tistory.com/83

2022년 3월 12일
·
0개의 댓글
·

주식 책

미국주식으로 한강뷰 가기http://www.yes24.com/Product/Goods/103321921부의 시나리오http://www.yes24.com/Product/Goods/101874075경제 상식사전http://www.yes24.com

2022년 2월 6일
·
0개의 댓글
·