[Spark] 날짜 다루기 (date, timestamp)

to_date, to_timestamp, 포매팅, 날짜 범위 지정

2일 전
·
0개의 댓글

[빅데이터] 분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어

분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어 개요 및 오픈소스

4일 전
·
0개의 댓글

[JAVA] Process exec 실행시 Stream 처리 주의 (hang 이슈)

Java 에서 Process exec 실행시, stream 처리 미흡시 hang이 발생할 수 있다.

2022년 5월 16일
·
0개의 댓글

[Excel] 타 시트의 값을 참조하여 가져오기

타 시트의 값은 '시트명'! 시트명을 특정 값을 참조하도록 =IFERROR(COUNTIF(INDIRECT("'"&C21&"'"&"!H$5:H$1048576"),"O"),"-")

2022년 5월 10일
·
0개의 댓글

[Hadoop] Hadoop 서비스 포트 정리

Hadoop 서비스 포트 정리

2022년 5월 10일
·
0개의 댓글

[Spark] RDB 데이터 읽기/쓰기

https://stackoverflow.com/questions/57509625/how-to-create-table-in-mysql-database-using-apache-spark 검증 필요.

2022년 5월 10일
·
0개의 댓글

[DB] WHERE NOT EXISTS 활용례

예시 reference

2022년 5월 10일
·
0개의 댓글

[빅데이터] 시계열 데이터 최적화

이벤트 시간 (event time)메시지가 생성된 시간프로세스 시간 (process time)서버가 처리하는 시간분산 스토리지에 데이터를 넣을 때엔, 프로세스 시간(=서버 처리 시간)을 사용하는 것이 일반적풀 스캔 (full scan) : 다수의 파일을 모두 검색하는

2022년 5월 4일
·
0개의 댓글

[알고리즘] 소수 판별하기

O(1) 으로 가지치기, 검증 범위 줄이기(시간복잡도)

2022년 5월 3일
·
0개의 댓글

[Spark] MariaDB Connector syntax error 해결

※ Mysql Connector License 주의 https://stackoverflow.com/q/41518078https://mariadb.com/kb/en/sql-mode/

2022년 5월 2일
·
0개의 댓글

[Spark] spark-shell 사용시 jar 의존성 추가

spark-shell 을 통해 간단한 테스트 진행시, external jar 파일들을 의존성에 추가한다.

2022년 4월 20일
·
0개의 댓글

[Linux] grep 으로 빈 라인 제거

grep 으로 공백인 라인 제거

2022년 4월 20일
·
0개의 댓글

[빅데이터] 데이터마트와 비정규화

레코드 단위로 읽고 쓰기에 최적화레코드 단위로 저장되어, 필요없는 열까지 Disk에서 로드\-> 컬럼이 늘어날 수록 성능 저하가 발생열 지향 스토리지는 컬럼 단위로 데이터 저장\-> 컬럼 수가 아무리 늘어도 성능에 영향이 없음\-> 테이블을 비정규화하여 쿼리시 테이블

2022년 4월 15일
·
0개의 댓글

[빅데이터] 데이터베이스 지연 줄이기

초 단위 데이터를 집계하려면, 이를 예상한 시스템 필요대용량의 원본 데이터에 집계 요청을 보내면, 수분~수시간이 소요되는 문제가 발생\-> 데이터레이크에서 원하는 데이터를 미리 추출하여 데이터 마트를 구축,데이터 마트에서는 초 단위의 응답을 얻을 수 있도록 함데이터 집

2022년 4월 15일
·
0개의 댓글

[빅데이터] 크로스 집계의 기본

크로스 테이블 (cross table), 트랜잭션 테이블, 크로스 집계, SQL 을 이용한 집계

2022년 4월 15일
·
0개의 댓글

[Linux] 파일명과 파일 내용 같이 출력하기

more * | cat

2022년 4월 14일
·
0개의 댓글

[Python] ConfigParser 를 이용한 config 파싱 예제

configParser 예제\*\* 아래와 같이 test.config 파일이 있을 때, 해당 config를 읽는 예제

2022년 4월 12일
·
0개의 댓글

[Python] 메일 발송 예제

메일 발송 예제

2022년 4월 12일
·
0개의 댓글

[JAVA] File lock 상태로 write

RandomAccessFile 로 lock 건 상태로 파일 쓰기파일이 없으면 생성

2022년 4월 11일
·
0개의 댓글