인공지능에서의 데이터 평가

인공지능에서의 데이터 평가

• 데이터의 중요성
• 데이터 평가란?
• 데이터 평가 시 고려사항
• 올바르지 않은 데이터의 사례

데이터의 중요성

데이터란?

• 데이터는 정보의 집합으로, 숫자, 텍스트, 이미지, 음성 등 다양한 형태로 존재
• 데이터는 관찰, 측정, 기록된 정보
• 현실 세계에서 발생한 사건이나 현상을 표현
• 데이터는 원시 데이터(raw data)와 가공된 데이터(processed data)로 구분

원시 데이터는 가공되지 않은 형태의 정보

• 아날로그
  픽셀값을 담은 raw image data
  

• 디지털
  가공되지 않은 정보
  

가공된 데이터는 분석 및 모델 학습에 활용될 수 있는 형태로 가공된 정보

• 분류, 추상화, 추출, 계산 등을 거친 정형화된 데이터
• 이미지 분할에 따른 이진화와 특징 추출
  
  

데이터가 딥러닝 모델의 성능과 신뢰성에 미치는 영향

• 데이터는 딥러닝 모델의 핵심 원료
• 양질의 데이터를 사용하면 모델은 정확하고 일반화된 예측이 가능
  • 우리는 치와와에 대한 양질의 데이터를 받아들임
    
• 딥러닝 모델은 데이터를 통해 패턴을 학습, 풍부하고 다양한 데이터가 모델의 학습 능력을 향상
• 데이터의 품질과 다양성이 모델의 신뢰성을 확보하고 과적합 및 과소적합을 방지
  • 과적합(Overfitting): 훈련 데이터에 지나치게 적응, 훈련 데이터에 대한 예측은 높지만 새로운 데이터에 대해서는 성능이 매우 저하되는 현상
  • 과소적합(Underfitting): 모델이 훈련 데이터에 대해서도 제대로 학습하지 못하여, 훈련 데이터와 테스트 데이터 모두에서 성능이 낮은 현상
• 데이터 품질이 낮거나 편향된 경우 모델의 성능과 신뢰성에 부정적인 영향을 미칠 수 있으며, 잘못된 데이터로 인한 잘못된 결론을 도출
• 데이터의 중요성은 특히 지도 학습과 같은 모델에서 더욱 부각되며, 모델은 훈련 데이터로 제한된 정보만을 활용하여 새로운 데이터에 대한 예측을 수행
  • 지도학습: 분류(Classification)와 회귀(Regression)를 통해 레이블이 지정된 훈련 데이터를 기반으로 모델을 학습하여 결과를 예측

데이터 평가

데이터 평가의 필요성

• 데이터는 모델의 학습과 예측의 기반이 되는 요소
• 데이터의 품질과 적합성은 모델의 성능에 직접적인 영향을 끼침

데이터 평가의 수행

• 데이터 수집, 전처리, 및 모델 학습 전후에 수행
• 데이터의 평가는 모델이 데이터를 학습하는 레이블과 데이터 간의 정확성 체크를 시작으로 레이블 일치도, 훈련 데이터와 테스트 데이터의 분포 차이, 이상치 식별, 불균형 처리 등을 진행

데이터 평가와 모델 개선

• 모델이 데이터의 결함이나 편향을 학습하는 경우, 데이터 평가를 통해 이러한 문제를 발견하고 수정
• 데이터 평가 결과를 기반으로 모델의 하이퍼파라미터 조정, 레이블 개선, 데이터 어그멘테이션, 새로운 데이터 수집 등을 수행하여 모델의 성능을 향상

데이터 평가 시 고려사항

데이터 평가의 주요 요소

• 데이터 품질 평가: 데이터의 정확성, 완전성, 일관성, 신뢰성을 평가하여 오류나 이상치를 식별하고 처리

• 레이블링 및 주석 평가: 데이터 포인트의 레이블 또는 주석의 정확성과 일관성을 확인하여 일치도를 평가

• 데이터 분포 분석: 데이터의 분포를 분석하여 편향, 불균형, 무작위성을 확인하고 클래스 불균형 문제를 처리

• 모델 성능 평가: 정량적 평가 지표를 활용하여 모델의 성능을 측정

• 일반화 능력 검증: 모델의 일반화 능력 평가를 통해 새로운 데이터에 대한 성능 예측을 확인하고 과적합 및 과소적합을 감지

올바르지 않은 데이터 평가

잘못된 데이터 평가 방법과 사례

• 유사성으로만 분류된 사진

• 과도한 데이터 전처리
  예시: 특징 선택, 차원 축소, 또는 데이터 필터링을 과도하게 적용하여 유용한 정보를 손실시키는 경우
  결과: 모델은 데이터의 중요한 특징을 잃어 정확한 예측을 할 수 없음

• 단일 평가 메트릭 의존
  예시: 정확도만을 사용하여 모델 평가를 수행하고 다른 성능 메트릭을 고려하지 않는 경우
  결과: 모델의 성능을 정확하게 이해하지 못하고 문제를 놓치는 가능성이 있음

• 과소 평가
  예시: 모델의 복잡성을 축소하여 모든 기능을 단순하게 만들어 버리는 경우
  결과: 모델은 데이터의 다양성과 복잡성을 이해하지 못하고 과소적합됨

결론

• 데이터는 딥러닝 모델의 핵심 원료로 양질의 데이터를 사용하면 모델은 정확하고 일반화된 예측이 가능
• 데이터 평가는 품질과 성능을 확보하며, 안정적이고 신뢰할 수 있는 예측을 가능하게 함
• 따라서 데이터 평가는 프로젝트 초기부터 시작하여 모델 훈련, 테스트, 및 운영 단계까지 지속되어야 함
• 또한, 데이터의 품질을 보증할 수 있도록 데이터 평가 결과를 토대로 데이터의 품질을 개선해야 함
• 이러한 데이터 평가가 없이는 성공이 어려움