출처
들어가기전에...
데이터 사이언티스트 설문조사 결과 전처리에 많은 시간과 노력을 들이고 있다.
전처리는 매우 중요한 과정이므로 절대 소흘히 해선 안된다.
데이터 전처리란?
데이터를 분석 및 처리에 적합한 형태로 만드는 과정을 총칭하는 개념
데이터 분석, 마이닝, 머신러닝 프로젝트에 적용
일반적으로 데이터는 비어있는 부분이 많거나 정합성이 맞지 않는 경우가 많음
데이터 품질
완벽한 데이터를 얻는다는 것은 실제에서 불가능
측정오류, 수집과정등에 오류가 있음
GIGO : Garbage In Garbage Out
데이터 품질 결정 요인
실세계의 데이터 난제(Data Problem)
잡음
측정과정에서 무작위로 발생하여 측정값의 에러를 발생시키는 것
아티펙트(Artifact)
어떠한 요인으로 인해 반복적으로 발생하는 왜곡이나 에러를 의미
정밀도
동일한 대상을 반복적으로 측정했을때 각 결과의 친밀성을 나타내는 것
측정결과의 표준편차로 나타낼수도 있음
바이어스
영점 조절되지 않은 체중계가 좋은 예
정밀도에서 언급된 예제의 경우 1g에 대한 측정 평균은 1.001.이며 이 측정 장비에는 0.001 만큼의 바이어스가 포함되어 있음을 알 수 있음
정확도
이상치
대부분의 데이터와 다른 특성을 보이거나 특정 속성의 값이 다른 개체들과 달리 유별난 값을 가지는 데이터를 의미
이상치의 중요한 점은 잡음과는 다르다는 것
잡음이 임의로 발생하는 예측하기 어려운 요인임에 반해 이상치는 적밥한 하나의 데이터로서 그 자체가 중요한 분석의 목적이 될 수 있음
예시 : 네트워크 침입자 감지, 신용카드 해외결제
결측치
데이터의 결측은 일반적인 경우는 아니지만 드물게 발생하는 문제
설문조사의 경우 사람들의 개인정보 입력을 꺼려하는 경우 발생 가능성이 있음
모순, 불일치
동일한 개체에 대한 측정 데이터가 다르게 나타나는 경우가 발생할 수 있는데 이러한 경우를 모순 또는 불일치
예시 : 고객 데이터를 봤을때 주소와 우편번호가 다르게 나오는 경우
중복
데이터 중복 발생은 비일비재
문제는 중복된 데이터 사이에 속성의 차이나 값의 불일치가 발생할 수 있다는 것
기본적으로 모든 속성 및 값이 동일하다면 하나의 데이터는 삭제할 수 있지만
그렇지 않은 경우라면 두개체를 합쳐 하나의 개체를 만들거나 응용에 적합한 속성을 가진 데이터를 선택하는 등의 추가적인 작업이 필요
데이터 전처리 단계
데이터 정제
예를 들어 1990-01-01 로 표기하고 있는데 1990.01.01 이런식으로 표현된 데이터가 혼재되어 있는 경우
데이터 통합
데이터 축소
데이터 변환
그림으로 보는 데이터 전처리 기법
데이터 전처리 기법
