데이터 처리 시스템 및 저장

OLTP(Online Transaction Processing)

📌 금전거래를 위한 데이터 처리

• 인터넷으로 많은 인원이 많은 양의 트랜잭션을 실시간으로 수행하도록 지원
• 온라인뱅킹, 전자상거래, ATM

• 원자성
  : 즉시 거래가 완료됨
  : 성공 or 실패만 존재
  : 처리 중이나 대기중이 존재하지 않음
  : 완료되지 않을 경우, 취소후 다시 시작

• 데이터 무결성
  : 데이터베이스에서 데이터가 변경되거나 손상되지 않도록하는 요소
  : 데이터의 정확성, 일관성, 유효성, 신뢰성을 보장하는 원칙
  : 제약조건, 트랜잭션 관리, 백업과 복구로 유지할 수 있음

• 데이터추가(insert), 업데이트(update)가 많이 발생

• sql을 사용할 수 있으나, 분석 목적이 아니라 쿼리속도가 상대적으로 느릴 수 있음

OLAP(Online Analytical Processing)

📌 분석을 위한 데이터처리

• OLTP로 데이터 분석을 실행할 경우, 속도와 기능적인 요소에서 부족한 부분을 채우기 위해 등장

DW(Dataware House)

📌 다양한 곳에서 수집된 데이터를 한 곳에 저장, 관리하는 시스템

• DB, API, 크롤링데이터 등 다양한 데이터를 저장 및 관리
• ETL, 데이터 저장소, 메타데이터, 프론트엔드 도구로 구성

Big Query

📌 OLAP + DW

• Google Cloud에서 개발한 서비스
• 대규모 데이터 분석에 최적화되어 있음

• 장점
  • OLAP라 많은 양의 데이터 처리 속도가 빠름 (대신 사용에 따라 돈을 지불)
  • 사용자데이터 (기기, 위치, OS버전, 이벤트 행동)을 로깅을 통해 수집할 수 있음 (Firebase, GA4)
  • 서버리스 및 클라우드 서비스이기 때문에 구글에서 인프라를 관리하여 서로 호환이 쉽고 관리에 대한 비용을 절감할 수 있음

• 사용하는 경우
  • Firebase, GA, GCP를 사용할 경우
  • 적은 비용으로 프로젝트를 진행할 경우
  • 실시간으로 대규모 데이터를 분석 및 관리

• 비용

  • 저장 비용
    : 데이터 저장에 발생되는 비용
    : on- demand 요금제, capacity 요금제로 구분

    • on-demand 요금제 : 쿼리에서 처리된 용량에 따라 부과
    • capacity 요금제: slot 단위로 요금 부과

  • 쿼리 비용
    : 쿼리 실행시 발생하는 비용
    : 쿼리실행시 처리되는 데이터 양
    : Active logical 저장소, long-term logical 저장소로 구분

    • Active logical 저장소
    • long-term logical 저장소 : 90일간 수정되지 않는 경우

  • 추가 비용
    : 스트리밍 데이터 삽입
    : 데이터 전송

---

참고

• OLTP (IBM)
  : https://www.ibm.com/kr-ko/topics/oltp
• 초보자를 위한 BigQuery(SQL) 입문 : 카일스쿨
  (https://www.inflearn.com/course/%EC%B4%88%EB%B3%B4%EC%9E%90%EB%A5%BC-%EC%9C%84%ED%95%9C-%EB%B9%85%EC%BF%BC%EB%A6%AC-sql-%EC%9E%85%EB%AC%B8#)