- 요약
양질의 데이터를 판별하는 것에 대한 중요성과 그 방법, 분석 방법별 충분한 데이터의 양
- 주요 포인트
양질의 데이터를 판별하는 방법
- 데이터의 품질
- 가능한 한 다양하고 많은 데이터를 확보하는 것이 반드시 고품질의 데이터와 직결되지는 않는다.
- 품질이 높은 데이터일수록 활용 가치가 높다.
➡️ 데이터 수집과 분석의 효율성을 높이기 위해서는 양질의 데이터를 판별할 수 있는 능력을 길러야 한다.
- 양질의 데이터를 판단하는 방법
분석하기 쉽고,
분석 결과물을 이해하기 쉽고,
분석 결과를 수용하기 쉬운 데이터
= “양질의 데이터”
1️⃣ 데이터의 수가 충분히 많아야 한다.
2️⃣ 데이터 자체의 오류가 적어야 한다.
3️⃣ 관계형데이터베이스 형식을 잘 지키고 있다.
4️⃣ 수치형 데이터 형식을 많이 보유하고 있다.
5️⃣ 활용 목적에 적합한 데이터여야 한다.
데이터의 수가 충분히 많아야 한다.
- 데이터 양을 중요하게 고려해야 하는 경우
표본이 모집단을 대표하지 못할 때에는 분석 결과의 신뢰성이 하락하기 때문에 충분한 데이터의 양이 필요하다.
- 어느 정도의 데이터가 충분한 양인가?
데이터의 분석 목적과 방법에 따라 달라진다.
- 통계적 분석 : 최소 500개 이상
- 데이터 수가 300~500개 이상부터 통계적 유의미성을 가지게 됨. - 머신러닝(기계학습) 분석 : 변수 * 100개 이상
데이터 양 = 분석 결과의 신뢰도
양질의 데이터를 확보하기 위해서는 충분한 데이터의 양을 확보해야 하며 이는 분석 결과의 신뢰도와 직결된다
- 인사이트
타당하고 신뢰할 수 있는 데이터 분석을 하기 위해서는 분석 방법보다 앞서서, 분석하려고 하는 데이터 역시 신뢰할 수 있는 고품질의 데이터를 확보하는 것이 중요하다는 것을 다시 한번 느꼈다.
최고의 셰프가 최고의 레시피로 요리를 한다고 해도, 그 재료가 저품질이라면 결과물은 볼품 없을 것이기 때문이다.
분석을 위한 목표를 설정하고 필요한 데이터를 수집하는 과정에서, 효율적이고 활용성이 좋은 데이터를 판별할 수 있는 능력을 기르는 연습을 해야겠다.
- 용어 정리 :
- 표본 : 어떤 사건이나 현상을 파악하기 위해서 수집한 데이터
- 모집단 : 분석 대상이 되는 집합 전체
- 관계형 데이터베이스 : 표(Table)형태로 데이터를 저장하고 관리하는 데이터베이스로, SQL을 바탕으로 데이터를 조작하고 검색할 수 있다.
- 수치형 데이터 : 숫자로 표현되는 데이터로, 연산이 가능하며 수학적인 분석이 가능한 데이터다. 이산형과 수치형으로 나누어진다.
공통 인사이트 :
데이터 분석 결과의 신뢰도를 얻기 위해서는 양질의 데이터 확보가 중요하기 때문에 이러한 데이터를 판별할 수 있는 능력을 기르는 것이 중요하다.
의미 있었던 의견
다른 조원분들의 의견 중에서, 데이터를 수집하는 과정에서 확증 편향으로 인해서 저품질의 데이터, 신뢰성이 떨어지는 데이터를 수집하게 되는 경우를 주의해야 한다는 의견에 새로운 깨달음을 얻을 수 있었다.
