- 전체보기(93)
- kafka(15)
- spark(12)
- git(8)
- hadoop(7)
- docker(3)
- HBase(3)
- MariaDB(3)
- Java(3)
- revert(2)
- zookeeper(2)
- reset(2)
- consumer(2)
- rdd(2)
- producer(2)
- 피보나치 수열(2)
- mysql(2)
- 크로스 집계(1)
- 비네의 공식(1)
- report(1)
- checkout(1)
- broadcast variable(1)
- fast-forward(1)
- kafka consumer(1)
- merge(1)
- iceberg(1)
- linux(1)
- git status(1)
- git revert(1)
- Key-Value Store(1)
- 게시-구독 메시징 모델(1)
- Amazon DynamoDB(1)
- Cassandra(1)
- log4shell(1)
- fibonacci(1)
- 피보나치(1)
- lock(1)
- k8s(1)
- TCP SYN Cookies(1)
- PORT(1)
- spark shuffling(1)
- JOIN(1)
- python(1)
- Spark Streaming(1)
- HDFS(1)
- MachineLearning(1)
- network(1)
- branch(1)
- kafka broker(1)
- partition(1)
- git rm(1)
- work tree(1)
- 프로세스 시간(1)
- INDIRECT(1)
- hive(1)
- git checkout(1)
- git clean(1)
- NIC(1)
- grep(1)
- mongodb(1)
- cherry-pick(1)
- 크로스 테이블(1)
- 이슈 트래킹(1)
- context(1)
- git merge(1)
- broker(1)
- spark partition(1)
- to_timestamp(1)
- Sort(1)
- 이벤트 시간(1)
- grouping(1)
- apache spark(1)
- RandomAccessFile(1)
- Erasure Coding(1)
- 추천 모델(1)
- prometheus(1)
- 소수(1)
- git tag(1)
- burrow(1)
- Log4j(1)
- 머신러닝(1)
- consumer lag(1)
- git reset(1)
- flatten array(1)
- flatten(1)
- MapReduce(1)
- kubernetes(1)
- bigtable(1)
- sqoop(1)
- 시계열 데이터(1)
- safemode(1)
- dynamodb(1)
- db(1)
- Binet's formula(1)
- TO_DATE(1)
- Grafana(1)
- git Index(1)
- ConfigParser(1)
- excel(1)
- replication factor(1)
- primary key(1)
- etl(1)
- 시계열 인덱스(1)
- more(1)
- Spring(1)
- stash(1)
- accumulator(1)
- 배열 평탄화(1)
- kvs(1)
- git add(1)
- tag(1)
- exec(1)
- 트랜잭션 테이블(1)
- Log4J2(1)
[JAVA] Process exec 실행시 Stream 처리 주의 (hang 이슈)
Java 에서 Process exec 실행시, stream 처리 미흡시 hang이 발생할 수 있다.
[Excel] 타 시트의 값을 참조하여 가져오기
타 시트의 값은 '시트명'! 시트명을 특정 값을 참조하도록 =IFERROR(COUNTIF(INDIRECT("'"&C21&"'"&"!H$5:H$1048576"),"O"),"-")
[Spark] RDB 데이터 읽기/쓰기
https://stackoverflow.com/questions/57509625/how-to-create-table-in-mysql-database-using-apache-spark 검증 필요.
[빅데이터] 시계열 데이터 최적화
이벤트 시간 (event time)메시지가 생성된 시간프로세스 시간 (process time)서버가 처리하는 시간분산 스토리지에 데이터를 넣을 때엔, 프로세스 시간(=서버 처리 시간)을 사용하는 것이 일반적풀 스캔 (full scan) : 다수의 파일을 모두 검색하는
[Spark] MariaDB Connector syntax error 해결
※ Mysql Connector License 주의 https://stackoverflow.com/q/41518078https://mariadb.com/kb/en/sql-mode/
[Spark] spark-shell 사용시 jar 의존성 추가
spark-shell 을 통해 간단한 테스트 진행시, external jar 파일들을 의존성에 추가한다.
[빅데이터] 데이터마트와 비정규화
레코드 단위로 읽고 쓰기에 최적화레코드 단위로 저장되어, 필요없는 열까지 Disk에서 로드\-> 컬럼이 늘어날 수록 성능 저하가 발생열 지향 스토리지는 컬럼 단위로 데이터 저장\-> 컬럼 수가 아무리 늘어도 성능에 영향이 없음\-> 테이블을 비정규화하여 쿼리시 테이블
[빅데이터] 데이터베이스 지연 줄이기
초 단위 데이터를 집계하려면, 이를 예상한 시스템 필요대용량의 원본 데이터에 집계 요청을 보내면, 수분~수시간이 소요되는 문제가 발생\-> 데이터레이크에서 원하는 데이터를 미리 추출하여 데이터 마트를 구축,데이터 마트에서는 초 단위의 응답을 얻을 수 있도록 함데이터 집
[Java] Stream을 활용한 비 문자열 List 문자열 join
[Python] ConfigParser 를 이용한 config 파싱 예제
configParser 예제\*\* 아래와 같이 test.config 파일이 있을 때, 해당 config를 읽는 예제