[가짜연구소]Data Engineering

Data Engineer는 방대한 양의 데이터를 처리하고 처리하기 위해 데이터베이스,대규모 처리 시스템 등의 아키텍처를 개발, 구축, 테스트 및 유지 관리합니다.

검색이 쉬움특정 유형 사용데이터 테이블에 적합한 데이터이며 숫자, 짧은 텍스트, 날짜와 같은 이산형 데이터 유형이 포함정형데이터의 저장소 예시 관계형 데이터베이스, 공간 데이터베이스, OLAP 큐브유연성구조화된 데이터만큼 간단하지 않음Json, Xml,YAML 파일형식

scheduling : 특정순서로 작업을 실행하고 모든 종속성을 올바르게 해결하여 각각의 작은 조각을 보관하고 함꼐 작동하는 방식을 구성sensor scheduling -> 특정 조건이 충족되면 실행할 일부작업을 설정할 수도 있음batch vs stream proce

1. OPTP vs OLAP OLTP 온라인 트랜잭션처리 (트랜잭션이 중심) , 무수히 많이 발생되는 각각의 작업요청을 오류없이 처리하고, 그 결과값을 실시간으로 확인시켜줘야 함을 의미합니다. OLAP 온라인 분석 처리 (분석이 중심) 기존에 저장되어 있는 데이터를