1. Function info
1-1. Pipe
데이터를 한 곳에서 다른 곳으로 전송하는 데 사용
데이터 파이프를 사용하여 다른 시스템과의 데이터 통합 및 전송을 수행
1-2. Stream
실시간 데이터를 처리
데이터가 발생하면 해당 데이터를 즉시 처리하는 데 유용
CDC 및 이벤트 기반 데이터 처리와 같은 실시간 데이터 작업에 사용
1-3. Task
예약된 작업 또는 작업 스케줄
매일 특정 시간에 데이터를 로드하거나 특정 이벤트가 발생할 때 특정 작업을 실행하는 데 사용
1-4. Function
함수는 입력을 받아들이고 결과를 반환하는 프로세스
- 데이터를 변환
ex) 날짜 형식을 변경하거나 문자열을 분석하여 숫자로 변환하는 데 사용 - 계산 및 집계
ex) 평균값 및 최댓값 등 계산하는데 사용 - 재사용 가능한 로직
ex) 여러 쿼리에서 반복적으로 사용되는 로직을 하나의 함수로 캡슐화하여 코드의 재사용성 증가
1-5. Procedure
일련의 작업을 수행하는 저장 프로시저와 유사한 개체
- 복잡한 데이터 처리
ex) 여러 테이블에 대한 복잡한 조인 작업 또는 데이터의 로딩 및 변환 작업 - 트랜잭션 관리
ex) 특정 작업이 하나의 트랜잭션으로 묶여야 하는 경우
ex) 여러 단계의 데이터 변경 작업을 수행하고 해당 작업을 롤백할 수 있는 경우에 사용
Data Engineer