[빅데이터]로그 데이터란?

로그 데이터란?

• 최근 사용자의 사용성 및 행동 패턴을 확인하거나 유저 클러스터링, 모델링 등 다양한 목적으로 사용되는 행동 기반 데이터

장점

• 설문과 같은 사용자 응답 및 기억에 의존하는 데이터 수집 방법 대비, 행동을 정확하게 파악/예측할 수 있음
• 특정 결과에 이르는 과정과 흐름을 상세히 파악할 수 있어, 서비스를 개선하는 데 매우 유용한 자료

단점

• 데이터 용량이 크기 때문에 스토리지 관련 비용/리소스가 발생
  JSON, CSV, TSV와 같은 비정형 텍스트 형태이므로 기존 RDB와는 다른 수집/처리 시스템과 전문 인력이 요구됨

JSON

최근 로그의 형태는 대부분 JSON(JavaScript Object Notation)이다.
Pandas의 Dictionary와 거의 유사하게 Key, Value로 구성되어 있으며, Hierchial 구조를 가질 수 있다,

# 로그 스키마 예시
{
 "memid": " ", # int 
 "sessionid": " ", # string 
 "ver": " ", # string
 "screen": "Main", # string
 "event": "View", # string
 "area": "Seoul", # string
 "group": "A", # string, A or B ...
 "params": {
            "isGuest": "T", # boolean 
            "UserType": " " # string
            }
}

Reference

• https://wikidocs.net/16565