빅데이터

크로스 테이블 (cross table), 트랜잭션 테이블, 크로스 집계, SQL 을 이용한 집계

초 단위 데이터를 집계하려면, 이를 예상한 시스템 필요대용량의 원본 데이터에 집계 요청을 보내면, 수분~수시간이 소요되는 문제가 발생\-> 데이터레이크에서 원하는 데이터를 미리 추출하여 데이터 마트를 구축,데이터 마트에서는 초 단위의 응답을 얻을 수 있도록 함데이터 집

레코드 단위로 읽고 쓰기에 최적화레코드 단위로 저장되어, 필요없는 열까지 Disk에서 로드\-> 컬럼이 늘어날 수록 성능 저하가 발생열 지향 스토리지는 컬럼 단위로 데이터 저장\-> 컬럼 수가 아무리 늘어도 성능에 영향이 없음\-> 테이블을 비정규화하여 쿼리시 테이블

이벤트 시간 (event time)메시지가 생성된 시간프로세스 시간 (process time)서버가 처리하는 시간분산 스토리지에 데이터를 넣을 때엔, 프로세스 시간(=서버 처리 시간)을 사용하는 것이 일반적풀 스캔 (full scan) : 다수의 파일을 모두 검색하는

분산 KVS, 와이드 컬럼 스토어, 도큐먼트 스토어 개요 및 오픈소스