Data Engineer

데이터 베이스 가르키는 3가지 용어

🌍 GIS란? GIS(Geographic Information System) 란 인간생활에 필요한 지리정보를 컴퓨터 데이터로 변환하여 효율적으로 활용하기 위한 정보시스템 정보시스템이란 의사결정에 필요한 정보를 생성하기 위한 제반 과정으로서 정보를 수집, 관측, 측정하

파티션이란 데이터가 너무 많은 경우 상당한 부하가 걸릴 수 있기 때문에 데이터를 분산하여 저장하는 방법으로 MySQL 서버 입장에서는 데이터를 별도의 테이블로 분리해서 저장하지만 사용자 입장에서는 하나의 테이블로 읽기와 쓰기를 할 수 있게 해주는 기능을 의미 합니다.R

스파크 클러스터클러스터란 여러 대의 서버가 마치 한대의 서버처럼 동작하는 것을 뜻합니다. 스파크는 클러스터 환경에서 동작하며 대량의 데이터를 여러 서버에서 병렬 처리합니다분산 데이터로서의 RDDRDD는 Resilient Distrubuted Datasets으로, ‘회복

Datahub 란? LinkedIn에서 만든 데이터의 위치와 의미를 한눈에 보게 돕는 플랫폼이 “데이터 디스커버리 플랫폼”(DDP, Data Discovery Platform)으로 비슷한 종류의 플랫폼으로는 Lyft에서 만든 Amundsen과 Uber에서 만든Datab

구분가능한 데이터 형태들로 그 종류는 비슷하지만 자신이 사용하고자 하는 데이터 파일 포멧이나 DB에 따라서 다른 형타입이 될 수도 있고 또는 해당 타입을 사용 못 할 수도 있다.특히 데이터를 다루는 사람들은 이에 대한 이해를 하고 있다면 메모리 관리, 형타입 변환 등