데이터 거버넌스란
데이터가 계속 신뢰할 수 있는 데이터가 될 수 있도록 유지하기 위해 관리하는 체계입니다.
데이터 스튜어드라는 역할명도 있는데, 데이터 스튜어드는 데이터의 품질이랑 보안을 관리하는 것을 도맡아서 하는 직군입니다.
데이터 스튜어드십이란 데이터의 신뢰도 유지를 위해서 데이터를 책임지고 관리하는 활동을 말하는데, 데이터 스튜어드십을 하는 사람이 데이터 스튜어드입니다.
메타 데이터란
데이터에 대한 데이터입니다.
데이터의 출처가 어디인지, 데이터가 뭘 의미하는지, 어떤 구조를 가진채로 저장되어있는지를 담는 데이터를 메타 데이터라고 합니다.
가지고있는 데이터가 너무 많아져서 오히려 이 데이터가 믿을만한가? 이 데이터들은 아직 유효한가? 이 상황에서는 어떤 데이터를 써야하는가?를 결정하기가 더 어려워졌습니다. 그래서 데이터의 보안을 관리하고 형식을 표준화하고 지속적으로 관리하는 체계인 데이터 거버넌스의 중요성이 부각되게 되었습니다.
데이터옵스
데이터 수집하고 변환하고 저장하는 과정을 자동화하고 필요한때에 신뢰할수있는 데이터를 바로 불러와서 사용할수있도록 하자는 목표를 가진 방법론입니다.
데이터 거버넌스를 통해 데이터가 잘 관리되어야 필요할때 신뢰할수있는 데이터를 바로 불러오자는 의미를 가진 방법론인 데이터 옵스가 이뤄질 수 있습니다.
데이터 거버넌스를 통해 여러군데 흩어져있는 데이터들을 한번에 파악할수있도록 통합해서 정리하고 데이터 표준화 규칙을 만들어서 그 형식에 맞게 정리하면 누구나 데이터를 같은 의미로 이해할수있게됩니다. 그리고 중복값이나 결측값을 정리하여 데이터의 품질을 높이면 정리하기전보다 그 데이터는 신뢰도가 높은 데이터가 됩니다. 중구난방으로 흩어져있는게 아닌 어떠한 규칙에 맞게 정리되어있는 데이터는 IT 팀뿐만 아니라 비전문가 구성원들도 데이터를 보다 쉽게 이해할 수 있게되며, 같은 형식으로 정리가 되어있기때문에 시각화 자료를 만들수도 있어서 데이터 분석을 빠르게 할수있게됩니다. 빠른 데이터 분석을 통해 기업은 무언가를 의사결정할때 데이터에 기반한 의사결정을 할수있게됩니다.
일반 메타데이터는 데이터베이스를 실제로 다루는 사람들이 데이터에 대해서 파악할수있도록 설명해둔 데이터 정리집입니다. 이 데이터는 어떤 테이블에 속하는지, 어떤 데이터베이스 위치에 속해있는지, 컬럼명은 어떻게 기술되는지, 데이터 타입은 뭘로 들어가는지 정의된다면 비즈메타는 비즈니스 메타데이터로 데이터베이스에 대한 지식이 없어도 이 데이터를 통해 뭔가를 결정하거나 만들어내야하는 사람들도 이 데이터에 대해서 파악할수있도록 설명해둔 정리집입니다 이 데이터는 어떤 상황에서 쓰이는 데이터인지, 뭘 의미하는지, 이 데이터가 가진 보안 규칙은 무엇인지 등이 정리됩니다. 비즈메타는 기술자가 아니고 아예 기술에 대해 모르는 사람도 읽었을때 이해할수있도록하는게 목적이기때문에 기술용어 사용은 최대한 피해야합니다.
