# partition

13개의 포스트

Apache Hive - partition, bucket

Hadoop echosystem의 일부로, Apache Hadoop위에서 SQL을 사용하여 분산된 스토리지에 저장된 데이터에 대해 쿼리를 할 수 있는 데이터 웨어하우스 시스템이다. Hive는 hadoop 환경에서 복잡한 map-reduce 코드 대신에 SQL과 유사한

2022년 4월 23일
·
0개의 댓글
post-thumbnail

[MYSQL] MYSQL Partition - 테이블 분할

파티션은 크기가 큰 테이블을 여러 개로 분할하는 기능이다. 크기가 큰 테이블에 쿼리를 수행할 때, 인덱스를 사용하더라도 테이블의 크기가 매우 크다면 MYSQL에 부하가 걸릴것이다. 이런 문제를 줄이고 성능 향상을 위해 사용하는 기능이다.인덱스는 SELECT 성능을

2022년 2월 25일
·
0개의 댓글
post-thumbnail

[Windows] 떨어져 있는 파티션 합치기

중간에 다르 파티션이 있다면 윈도우 기본 기능에서 파티션을 합칠 수 없습니다. 프로그램을 이용하여 가능하게 하는 방법을 알아봅니다.

2022년 2월 10일
·
0개의 댓글

CREATE TABLE PARTITION BY

PARTITION을 테이블 생성시 사용할 경우 특정 컬럼의 특정 값에 대해서만 불러온다.생성하고자 하는 테이블의 용량이 클 경우 PARTITION을 활용하여 용량을 줄일 수 있다.WHERE 절과는 다르게 사용된다.T1 이라는 빈 테이블을 생성한다.이때 밑에 PARTIT

2022년 2월 10일
·
0개의 댓글

crontab을 이용한 일단위 로그파일 처리

1.쉘 스크립트 작성DATE=date +%Y%m%d\_%H%M%SFROM_PATH=/var/lib/jenkins/workspace/d-api/build/libsTO_PATH=/root/logsPREV_DATE=1cp -rf $FROMPATH/nohup.out $TO_P

2022년 1월 9일
·
0개의 댓글

[스터디] 스파크 완벽 가이드 2일차

데이터를 처리하는 경우에는 단일 컴퓨터로 처리하기에 어려움이 있다. 그러기에 여러 컴퓨터의 자원을 모아서 하나의 컴퓨터처럼 작동하도록 하는 컴퓨터 클러스터를 구성한다. 이것만으로도 충분하지 않아 작업을 조율할 프레임워크가 필요한데 스파크가 이러한 역할을 수행한다.

2022년 1월 7일
·
1개의 댓글

[Kafka] topic partition에 대해서.

partition 은 병렬 처리의 단위 topic 내에선 순서가 보장되지 않지만 partition 내에선 순서 보장 새로운 메시지는 partition 의 끝부분에 추가된다. -> 순서 보장이 필요한 데이터를 같은 partition에 할당되도록 조정 parti

2021년 12월 15일
·
0개의 댓글
post-thumbnail

[Database] 데이터 모델링이란

유동오의 핵심 데이터 모델링 책을 한 챕터씩 읽고, 요약하는 글이다.\-> 많은 프로젝트에서 ER 모델을 통해 데이터 모델링을 수행하며, 관계형 모델과 관계형 데이터베이스를 통해 데이터를 저장하고 관리한다.

2021년 9월 27일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 컨슈머(Consumer) 파티션(partition)과 메시지 순서[10]

이번 포스팅을 통해서 컨슈머(Consumer)의 파티션과 메시지 순서에 대해 알아보겠습니다.일단 파티션과 메시지 순서 메커니즘을 알아보기 위해 생성한 토픽에 파티션 수가 3이고 리플리케이션 팩터 옵션은 1로 설정 후 메시지를 전송해보겠습니다.출력을 해본 결과 a부터 순

2021년 9월 7일
·
0개의 댓글
post-thumbnail

아파치 카프카(Apache Kafka)의 데이터 모델 [5]

카프카가 고성능, 고가용성 메시징 애플리케이션으로 발전한 데는 토픽과 파티션이라는 데이터 모델의 역할이 있기 때문입니다.토픽은 메시지를 받을 수 있도록 논리적으로 묶은 개념이고, 파티션은 토픽을 구성하는 데이터 저장소로서 수평 확장이 가능한 단위입니다. 토픽은 메시지를

2021년 9월 7일
·
0개의 댓글

MySQL 파티션 유형

[RANGE, LIST, HASH, KEY, SUBPARTITION]

2021년 6월 23일
·
0개의 댓글

[MySQL] Index/ Partition

▶ 정의Index는 RDBMS에서 검색 속도를 높이기 위한 자료구조이다.모든 데이터를 검색하면 시간이 오래 걸리기 때문에 데이터와 데이터의 위치를 포함한 자료구조를 생성한다.▶ 구조논리적/물리적으로 테이블과 독립적이다.Index는 KEY 컬럼과 ROWID 컬럼 두개로

2021년 3월 27일
·
0개의 댓글
post-thumbnail

[DB] - 파티션(Partition)

https://gmlwjd9405.github.io/2018/09/24/db-partitioning.html DB partion 서비스의 크기가 점점 커지고 DB 에 저장하는 데이터의 규모또한 대용량화 되면서 기존에 사용하는 DB 시스템의 용량의 한계와 성능의 저하

2020년 8월 20일
·
0개의 댓글