teamwink Data Engineering Projects 일람

eeeclipse·2020년 6월 10일

배경

팀윙크 내 실시간 데이터 기반 의사결정 지원

현재 팀윙크 내에서 서비스 운영 사항을 파악하기 위해서는 서버에 쿼리를 요청하여 회신받은 후 이를 가공하여 활용해야합니다. SQL을 잘 활용하지 못하는 크루나 시간이 촉박한 경우, 데이터를 충분히 살펴보지 못하고 의사결정을 해야하는 경우가 발생하곤 합니다. 또한 새로운 서비스가 출시되었음에도 불구하고 실시간으로 데이터를 얻기가 어려워 기민한 대응이 어려웠습니다. 따라서 데이터를 쉽고, 폭넓게 제공하여, 의사결정에 대한 위험부담을 최소화하고 각 프로덕트 별로 더 나은 비즈니스 기회를 모색할 수 있도록 지원하기 위하여, 백오피스 시스템 구축이 필요하다고 생각하게 되었습니다.

추가적인 바람

로그의 효율적인 수집 및 관리, 분석기능
컴플라이언스 준수사항 대응
장애 발생시 신속한 로그검색을 통한 원인 규명 소요 시간 최소화
로그분석을 통한 활용 및 이상징후 탐지

고민사항

수집 / 저장 / 분석 / Alert / 레포팅이 동시에 실시간 병렬처리 가능?
로그 폐기되기까지 Storage 공간의 효율적인 운영 방안 수립이 가능?
압축된 로그의 Restore 효율성 고려 가능?

요구사항

이런 것들이 차근차근 갖추어지면 좋겠다는 생각에 여러가지를 작성해보았습니다.

사용자 중심의 간편하고 직관적인 웹서비스 GUI 지원
사용자기반 설정을 이용하여 다양한 분석 보고서 생성
Excel(csv) 서식의 사이트 맵 파일 import/export 기능
신규 서비스나 새로운 컨텐츠가 실시간으로 통계에 적용
로그를 대상으로 즉시 혹은 수초 이내 검색
다수개의 필드를 이용한 Group By 검색 기능
다수개의 필드를 이용한 Pivot 검색 기능
동종 혹은 이종 로그간의 연관 검색 기능

Project Name GAIAs : Global Analytics Integrating Advanced Study

1.a = mc2

analytics = manifesting characteristic classes

서비스 상태를 파악할 수 있는 지표들을 선정하고 이를 측정합니다.

characteristic classes : Characteristic classes are cohomology classes in the base space of a vector bundle, defined through obstruction theory, which are (perhaps partial) obstructions to the existence of k everywhere linearly independent vector fields on the vector bundle. The most common examples of characteristic classes are the Chern, Pontryagin, and Stiefel-Whitney classes.