분산형 데이터 분석 아키텍쳐-데이터 매쉬
데이터 레이크 아키텍쳐란?
데이터매쉬 아키텍쳐란?
데이터 레이크 아키텍쳐란?
여러 소스에서 정형/비정형 데이터를 수집한 뒤, 비구조화된 형식으로 데이터 레이크에 저장한다. 데이터 레이크에 저장된 데이터를 직접 전처리하여 ML모델 생성에 사용하거나, 데이터 웨어하우스/데이터마트로 복사해서 정형화된 형태로 데이터 분석할 수 있다.
데이터 레이크 아키텍쳐 운용 시에 문제점
데이터 팀에서 여러 부서의 데이터를 하나로 모아서 관리한다. 따라서 도메인 전문성이 떨어지며, 도메인 특화된 툴을 적용하기 어렵다. 뿐만 아니라, 데이터 팀은 다른 팀을 지원하는데 주된 목적을 가져서 직접적인 성과를 내기 어렵다. 따라서 예산과 인력이 부족하다.
데이터매쉬 아키텍쳐란?
데이터 매쉬(Data Mesh) 아키텍쳐란, 영업/마케팅/회계 등 조직마다 데이터 전문 조직을 두는 아키텍쳐를 말한다. 데이터 전문 조직은 현업자와 밀접한 커뮤니케이션을 통해 고품질의 데이터를 생산하고, 비즈니스 여건에 맞는 도구를 사용을 지원한다. 고품질로 생산된 데이터는 다른 조직과 생성된 데이터를 공유하여 업무 생산성을 높인다.
