Index
1. 서론
2. 데이터 주도 분석
3. 보고서 주도 분석
4. 보고서 주도 분석의 한계(공감되는 부분과 고민들)1. 서론
데이터 웨어하우스를 디자인 하기 전에 요구사항을 발견하기 위해 몇 가지 분석이 필요하다.
일반적으로 사용되는 두 가지 접근방법으로는 데이터 주도(Data Driven or Supply Driven) 분석과 보고서 주도(Demand Driven)가 있다.
2. 데이터 주도 분석
데이터 주도 접근 방식은 "운영 데이터 소스" 를 분석하여 데이터 요구조건을 찾아낸다.
초기에는 데이터 웨어하우스 디자인을 할때 객체 지향 기법을 사용하여 여러 데이터 소스들을 하나의 "제3 정규형"모델로 리모델링하는 문제라고 생각했었기 때문에 구축 단계에서 BI사용자들의 요구사항을 반영하지 않았으며, 구축 이후에 사용자들의 요구사항에 대한 고려를 했었다.
이 방법은 당연하게도 구축 시에 사용자의 참여가 없었기때문에 많은 비용과 시간이 소요되었다. 또한 이것은 OLTP의 영향을 많이 받은 관점이었기 때문에 쿼리비용도 많았으며, 즉각적으로 필요한 질문에 대한 답변을 내는것이 어려웠다.
최근에는 도구들과 방법론의 발전으로 인해 많은 혜택을 누리고 있는 것은 분명하지만, 운영 데이터 모델 또한 복잡도가 계속해서 증가함에 따라 데이터 주도 분석의 문제도 증가하고 있다.
3. 보고서 주도 분석
해당 방법론은 BI사용자의 보고서 요구조건을 분석하여 디자인을 위한 데이터를 얻는 방법입니다.
이것은 비즈니스 관련자가 요구하는 보고서들을 긴급한 순서대로 효율적으로 우선순위를 부여하고 적시에 성공적으로 배포할 수 있는 데이터 웨어하우스 디자인에 초점을 맞춥니다.
여기까지 보면 당연히 OLTP가 아닌 데이터 웨어하우스에서는 보고서 주도 분석을 해야하는것이 아니야?? 라는 생각이 들게됩니다. 그래서 실제로 저도 보고서 주도 분석의 방식을 활용하여 적용을 하는 노력을 해봤습니다.
4. 보고서 주도 분석의 한계(공감되는 부분과 고민들)
실제로 일을 하면서 다른 회사들의 성공적인 대시보드 구축을 위해(참고로 현재 고객사의 DW를 자사의 클라우드에서 구축해주고, 자사 노코드 대시보드 툴을 활용해서 대시보드를 구축해주는 데이터 엔지니어로 일을하고 있습니다.) 고객사에서 보고싶은 정보는 무엇이고, 이것들을 보고싶어하는 이유와, 어떤관점에서 보고싶은지에 대한 미팅이 이루어집니다.
데이터 모델링을 위한 시간이 가장 많이 걸리지만, 사전에 미팅을 하기위한 약속을 잡고, 미팅을 하고, 미팅이후 내용을 정리하는 시간역시 무시할 수 없을 정도로 많은 시간이 걸립니다...
BI사용자의 보고서 요구조건을 사전에 들어서 이를 표현한다는 관점에서 데이터 주도 분석과 다르게 만족할만한 대시보드를 당장은 만들 수 있을지도 모릅니다.
하지만, 이를 위한 요구사항을 수립하는 시간이 오래걸리기도 하고, 저와 다르게 인하우스의 데이터웨어하우스를 구축하는 경우라도, 사내에 사용자로 인식될 사람들을 한명씩 만나고 인터뷰를 하다보면 많은 시간이 걸립니다.
나아가 미래를 위해 현재 필요한 보고서 요구사항 이상의 것을 생각하게 하며, 충분히 상세하고 장기적 관점의 요구사항을 얻기 위해서는 상당한 인터뷰 기술또한 필요합니다.
상세하게 인터뷰가 되어 보고서를 만들었다고 한들 요구조건이 변하지 않으리라는 법도 없기때문에 계속해서 추가 요구사항이 들어온다면... 경험이 많은 사람이라도 예상하지 못한 새로운 비즈니스 계획까지 커버할 수 있는 모델링을 하기는 어려움을 느끼게됩니다. 저와 같이 고객사를 위해 구축을 해준다면 더더욱 모델링 자체를 새롭게 할 상황이 생길 수 있습니다.
고객사가 적다면 그때그때 새로운 모델링을 (그러고 싶지는 않지만) 하면 됩니다. 하지만 고객사가 100곳이 넘는다면, 새로운 고객사들의 모델링을 하면서 그동안의 기존 고객사들의 모델링 CS까지 처리할 여력이 될까요..??
하이브리드 적인 방법론이 필요하지 않을까 고민을 하면서 고민을 하고, 책을 읽어가고 있습니다. 앞으로의 포스팅을 통해서 이방법에 대한 대안들을 책내용과함께 찾아가보려고 합니다.
