때로는 미련을 버려야 한다.
DDUX의 원활한 진행을 위해 객관적인 시각에서 기축적된 데이터의 활용 여부를 판단해야 한다!
1. Data 수집을 위한 노가다력과 창의성
저희 팀 혹은 회사에 활용해볼만한 데이터 자체가 없는 것 같은데요? (넘 공감된다. 공감버튼 하루에 세 번 씩 눌러줄 수 있음..)
'어떤 데이터를 써야하지?'
'어떻게 데이터를 수집해야하지?'
가장 많이 발생하는 오류 중하나는 바로 적합한 프로젝트의 설계없이 데이터 수집을 먼저 걱정하는 것이다. 그러나 전반적인 기획이 정립이 되어야 한다. 어떠한 목적을 달성하겠다라는 목표가 생기기 때문이다. 만약 기획이 없이 데이터 수집을 먼저 걱정하고 있다면 그 이유는 아래의 확률이 높을 것이다...
(1) Top-down으로 데이터 관련 UX 프로젝트 미션을 받았다.
(2) 일단 DDUX 관련된 업무를 시작했는데 어디에서부터 어떻게 뭘 해야할 지 모르기 때문이다.
데이터에 기반한 프로젝트를 하고 싶다면, 프로젝트 전반의 계획 수립과 문제 정의를 통한 관심 가설을 확정해야 해결방안을 모색할 수 있는 것이다.
계획 수립과 문제 정의가 되었다면 그 다음에 어떤 데이터를 사용할 것이며 어떻게 모을 것인지에 대한 고민을 할 수 있다. 왜냐하면 프로젝트 및 데이터 관련 계획이 세워지고 난 다음에 기나긴 데이터 확보 및 정제가 가능하기 때문에...
데이터 확보와 관련한 것에서 가장 유명한 사례인 스탠포드 Artificial Intelligence Lab과 Vision Lab을 이끌고 있는 Fei-Fei Li 교수의 예가 있는데, 그 분은 컴퓨터 비전 연구의 발전을 위해 크라우드 소싱 기술을 적극적으로 활용하여 세계 167개국 약 5만 명의 사람들이 10억장의 이미지를 수작업으로 분류하고 레이블링 하는 작업을 수행하였다. 2009년 약 2만 2천여개의 범주로 분류한 1500만장의 이미지 DB를 완성하여 해당 DB가 딥러닝 기술에 큰 기여를 했다.
2021년 쯤부터 많은 논의가 있었던 마이데이터, 그 중 정보의 민감도가 높은 건강과 관련되어 있는 사례가 있었다. 위의 자료는 미국의 유전자 검사 관련 시장의 성장도를 보여주는 것인데 2019년 기준 2600만명 이상이 유전자 기반 조상 찾기 상품을 통해 검사를 진행하였다. MIT 테크놀로지리뷰에 따르면 향후 2년 안에 전 미국 인구의 30% 정도인 1억명 정도가 해당 검사를 진행할 것으로 예상한다고 한다. 이 상품에서 주목해야하는 것은 단순 조상 찾기 서비스뿐만 아니라 수집 가능한 데이터를 바탕으로 다양한 파생상품으로의 확장이 가능하다는 잠재성이다. 결국, 타 기업이 접근하지 못하는 데이터를 확보하느냐가 미래 산업의 경쟁력이 될 가능성이 높은 것이다.
이러한 흐름에서 DDUX에서 창의적인 부분, 인사이트가 될만한 부분은 남들이 범접할 수 없는 새로운 데이터를 발굴-수집-생산하여 활용해 디테일에 집중하는 것이라고도 해석할 수 있다.
2. data의 신뢰도와 타당도
데이터가 있긴한데 믿을만한가?!
신뢰도(Reliability)
측정 및 수집에 의한 데이터가 얼마나 일정하게 산출되는지를 의미. 통계적 방법에 의해 신뢰도를 수량적으로 계산 가능.
- 안전성: 동일한 방법으로 반복 측정할 경우의 일관성
- 동등성: 동일한 대상을 다른 방식으로 측정할 경우의 일관성
- 동질성: 측정 및 수집 방법을 구성하는 하부 요인간의 일관성
타당도 (validity)
실제 수집 및 측정하고자하는 개념을 정확하게 측저하는지를 의미
- 내용 타당도: 측정하고자 하는 내용을 잘 반영하는지의 정도
- 준거 타당도: 기존재하는 특정 표준 및 준거와 관련된 정도
- 구성 타당도: 측정 개념에 대한 하부 요인들의 반영 정도
- 수렴/변별 타당도: 선험적으로 추정한 관련성이 있고 없음에 대하여 실제 변인들 간의 상관관계로 계산된 정도
신뢰도와 타당도의 관계
신뢰도는 과녁에 잘 모여있는 정도를 의미.
타당도는 과녁의 중앙에 집중된 정도를 의미.
실무적인 관점에서는 신뢰도보다는 타당도가 조금 더 중요할 수 있다. 정확한 데이터를 수집한다하더라도 잘못된 방향성을 가진 데이터 수집은 의미가 없을 수 있기 때문이다.
내적 타당도와 외적 타당도
내적 타당도 (Internal Validity)
- 내가 계획한 연구의 설계가 의도한 것을 정확하게 측정하고 있는 것인가?
- 기대하는 결과의 원인이 될 것이라 예상하는 변수 이외의 다른 변수들의 효과에 의해 해당 결과가 도출된 것인지 아닌지를 나타내는 지표.
- 일반적으로, 데이터를 측정 및 수집하는 단계에서 핵심이 되는 변수를 발굴하고 그 관계성을 잘 검증했는지를 내포함.
내적 타당도는 실무자들에게 타당도가 좀 더 중요하게 여겨질 수 있는 것과 유관하다.
외적 타당도 (External Validity)
- 내가 도출한 데이터 분석의 결과가 실제 상황에서도 일반화될 수 있는 것인가?
- 도출한 변수들 간의 관계성, 다시말해 분석 결과를단순 분석 맥락뿐만 아니라 다른 상황, 사람, 집단, 시간대에서도 유효하게 활용할 수 있는지를 나타내는 지표.
- 일반적으로, 데이터를 측정 및 수집하는 단계에서, 계획한 분석 맥락이 기대되는적용 결과 맥락을잘 대표하는지를 내포함.
데이터에 기반하여 좋은 UX를 만든다는 것은 세상에 없는 완벽한 데이터를 활용하는 것이 아닌, 상황에 맞게 적응하는 것으로 목적에 따라 유연해져야한다.
3. data의 연결성 및 표준화
데이터를 모으고 있긴한데 분석해보니 별다른 인사이트가 없는 것 같다면...?
중요하다해서 모아봤더니 인사이트가 없는 것 같고 예전에 있던 데이터도 보니까 인사이트가 딱히...
데이터 관련 프로젝트를 계획하고 수행하는 과정에 가장 많이 봉착하게 되는 상황 중 하나는 기존에 내부에 쌓아두었거나 자연발생적으로 쌓이고 있는데이터들도 있다는 점이다.
내부 자원의 효율적인 차원에서 의사결정권자들은
(1) 우리가 기존에 잘 쌓아둔 데이터를 활용할 방법은 없는지,
(2) 더 극단적으로는 이미 있는 데이터부터 활용해보라
라는 두 제안을 하게 될 것이다. (공감된다.....)
손에 망치를 들고 있으면, 온 세계가 못으로 보인다.
즉 내가 갖고 있는 데이터를 기준으로 문제를 해결하려고 한다면 당장의 비용은 절감될 수 있더라도 궁극적으로 해결하려는 문제에는 도움이 안 될 수도 있다!
프로세스
- 데이터 및 디지털 트랜스포메이션 트렌드 확인
- 데이터 관련 프로젝트 실행 계획 수립
- 내부 데이터 현황 파악
- 가용한 데이터를 활용한 전략 수립
- 추가적으로 필요한 데이터 수집
데이터 연결성 및 통합성 이슈의 원인
동시다발적인 정보시스템 개발
최근의 정보시스템 개발 프로젝트는 시스템간 상호연관성이 증대되어 단위 시스템 위주의 개발보다는 관련 정보시스템을 동시에 개발하는 경향이 뚜렷하다. 이러한 개발 환경 하에서 전사적인 데이터 표준 정책 없이 단위 시스템 위주로 표준 정책을 수립하여 단위시스템의 업무 기능 구현에 초점을 밪추어 개발 프로젝트가 진행되었다.
전사 데이터 관리 마인드 미형성
데이터에 관리 주체가 단위시스템의 개발자, 운영자 중심으로 이루어져 있어 단위 업무 지원에 초점을 맞추고 있다. 최근의 정보화 요건들은 단위 시스템의 데이터뿐만 아니라 여러 시스템의 데이터를 복합적으로 활용하는 경우가 많으므로 전사 데이터를 체계적으로 관리하고자 하는 마인드 형성이 필요하다.
전사 데이터 관리 인력 부재
정보시스템 개발 단계에서는 개발 수행사의 품질 관리 조직을 통해 표준에 대한 관리가 이루어진다., 유지 보수 단계에서는 개발 단계에서 수립된 표준과 표준 준수 관리에 대한 역할을 맡은 전문적인 데이터 관리 인력을 활용치 않고 개별 유지 보수 인력들에 의존한다.
전사 데이터 표준 관리 도구 부재
데이터 표준 관리에는 데이터 표준, 데이터 표준 준수 체크, 데이터 표준 조회 및 활용 등 많은 자동화된 시스템의 지원을 필요로 한다. 정보시스템 개발 시에는 수작업으로 데이터 표준의 적용, 준수확인 등을 수행했으나 운영 단계에서 수작업에 가까운 표준 관리 방법은 많은 애로사항이 존재한다.
데이터 표준화
시스템별로 산재해 있는 데이터 정보 요소에 대한 명칭, 정의, 형식, 규칙에 대한 원칙을 수립하여 이를 전사적으로 적용하는 것을 의미.
기존의 데이터 적재 및 관리 과정의 경우, DDUX에서 필요로 하는 고객 혹은 제품 중심의 표준화가 진행되지 않은 경우가 대부분이며, 내부 데이터 관리의 측면에서 인사이트를 뽑을 수 있는 데이터 자체의 종류와 양이 한정되어 있을 수 있다. 따라서 DDUX를 활용하기 위해서는 데이터 표준화 단계에서부터 '사용자'와 '제품'을 잘 아는 전문가가 함께 협업하여 효율과 효과를 높여야 한다.
