🚦 데이터엔지니어링

shard와 replica는 elasticserarch에서 크게 사용하는 개념이지만.비단 elasticsearch 뿐만 아니라 db에서도 쓰이는 개념이다.RAID는 여러개의 하드디스크를 용도에 맞게 구성해 사용하는 기술이다.저장 속도를 높이기 위해 분할 저장을 하거나

zookeeper는 분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트이다. 직접 어플리케이션 작업을 조율하지 않고 조율하는 것을 쉽게 개발할 수 있도록 도와주는 도구이다. API를 이용해 동기화나 마스터 선출 등의 작업을 구현할 수 있어서 간편하다. 각 애플리케이션

mysql workbench 에서 데이터 dump를 export, import할 수 있습니다.메뉴 server > Data Exportexport할 데이터베이스를 선택하면 우측에 선택한 데이터베이스의 테이블 목록이 보입니다.모두 선택한 후 아래 Export to Dum

mysql을 사용하여 db를 사용 시, 데이터를 백업해두어야 만일의 경우 db의 정보가 날라갈 경우 백업본을 바탕으로 복구할 수 있으므로 db 정보를 백업하는 작업은 필요합니다.백업을 위해 사용할 툴은 xtrabackup입니다.Percona에서 만든 백업 유틸리티로 M

SQL Server 트랜잭션 로그의 모든 레코드는 LSN(로그 시퀀스 번호)으로 고유하게 식별됩니다. LSN은 변경이 발생한 순서에 따라 번호가 매겨집니다. 예를 들어 LSN2가 LSN1보다 큰 경우 로그 레코드 LSN1에 해당하는 변경이 먼저 발생하고 로그 레코드 L

트랜잭션은 작업의 완전성 을 보장해주는 것이다. 즉, 논리적인 작업 셋을 모두 완벽하게 처리하거나 또는 처리하지 못할 경우에는 원 상태로 복구해서 작업의 일부만 적용되는 현상이 발생하지 않게 만들어주는 기능이다. 사용자의 입장에서는 작업의 논리적 단위로 이해를 할 수

관계형 데이터 모델을 지양 하며 대량의 분산된 데이터를 저장하고 조회하는 데 특화되었으며 스키마 없이 사용 가능하거나 느슨한 스키마를 제공하는 저장소를 말한다.종류마다 쓰기/읽기 성능 특화, 2 차 인덱스 지원, 오토 샤딩 지원 같은 고유한 특징을 가진다. 대량의 데이

분산 처리의 필요성을 이해하기 위해서는 병렬처리에 대해서 먼저 알아야합니다.분산 처리의 이해에 기본이 되는 알고리즘이 Divide and Conquer’ 입니다.이는 알고리즘에서 정렬, 탐색에서 흔히 사용되는 알고리즘이죠.복잡하고 큰 데이터를 여러 개의 작은 데이터로

ML pipeline은 아래 그림에서 볼 수 있듯이 여러 구성요소로 구성됩니다. ML pipeline은 모델 학습을 생성하는 데 필요한 워크플로우를 체계화하고 자동화하는 방법입니다.ML pipeline은 데이터 추출 및 전처리부터 모델 학습, 배포에 이르기까지 모든 작

ETL은 Extract, Transfron, Load의 약자로 여러 시스템의 데이터를 단일 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 결합하기 위해 일반적으로 사용되는 방법입니다.DB에서 SQL을 통해 데이터를 가져오는 것이다.원래의 sour

리눅스 커널은 리눅스 운영체제의 주요 구성 요소이자 컴퓨터 하드웨어와 프로세스를 잇는 핵심 인터페이스입니다.커널이라는 이름은 단단한 껍질 안의 씨앗처럼 os 내에 위치하고 전화기, 노트북, 서버 또는 컴퓨터 유형에 관계없이 하드웨어 모든 주요 기능을 제어하기 때문에 붙

이번 포스팅에서는 GitOps가 무엇인가에 대해서 알아보고 그 구현체인 ArgoCD에 대해서 알아보겠습니다.GitOps란 Weaveworks라는 회사에서 처음 쓰기 시작하였고 CI/CD 파이프라인 중 특별히 Delivery에 초점을 가지고 탄생한 개념입니다.GitOps

GitOps가 무엇인지 모르시는 분들께서는 앞서 포스팅한 글을 살펴봐주시면 도움되실 겁니다.GitOps는 핵심은 매니페스트가 정의되어 있는 Git 저장소가 변경되면, Git 저장소의 내용과 쿠버네티스 클러스터를 동기화 해주는 에이전트가 변경 내역을 쿠버네티스 클러스터에

Kubernetes는 자체적으로 self-healing이 가능한데요.시스템이 영향을 받을 때마다 pod, container 단위로 상태를 감지하고, 비정상적인 경우 자체적으로 교체하여 안정적인 서비스를 유지할 수 있도록 도와줍니다.Self-healing Kubernet

Name node is in safe mode.위와 같은 에러때문에 hdfs 처리를 못 할 때는 에러에도 나오겠지만 safe mode를 꺼서 해결할 수 있습니다.

네임노드가 시작 시, 진행되는 과정은 다음과 같습니다.fsimage를 메모리에 로딩editlog를 읽어 fsimage에 반영 (체크포인팅)데이터노드가 블록리포트를 보내줌safemode에 진입하고, 데이터노드가 보내준 블록리포트 정보를 토대로 블록 복제수가 일정 수준까지

빅데이터 분석이 쉬어진 것은 하둡이 나오면서부터입니다.하둡은 대용량이 데이터를 적은 비용으로 더 빠르게 분석할 수 있는 플랫폼이며, 빅데이터 처리와 분석을 위한 플랫폼 중 사실상 표준으로 자리잡고 있습니다.여러 대의 컴퓨터로 데이터를 분석하고 저장하는 방식으로 분석에

데이터 카탈로그는 사용자가 필요한 정보를 빠르게 찾을 수 있도록 하는 회사의 데이터 자산 목록입니다. 카탈로그는 대부분 다른 데이터에 대한 기본 정보를 제공하고 그것이 무엇인지 설명하는 메타데이터입니다. 사용자는 데이터 관리 및 검색 도구와 결합한 데이터 카탈로그를 갖