원시 데이터

원시 데이터란?

• 특정 도메인, 장르, 주제 등에 대하여 조건에 맞춰 수집은 했지만 주석 단계는 거치지 않은 상태의 데이터

• 원시 데이터는 목적에 맞는 전처리 과정을 거쳐 가공이 되어야 활용 가능함

원시 텍스트 수집 시 검토 사항

What

• 수집 대상, 포함 요소(Meta Data)

• 시간별, 주제별, 지역별, 매체별 대상, 텍스트 생성 주체, 텍스트 생성 시기 등

When

• 수집 기간

Where

• 수집 장소

• 클라우드 소싱 플랫폼, SNS, 크롤링 서버, 로컬 저장소 등

Who

• (수집 작업) 담당자

How

• 수집 방법, 수집 주기, 데이터 형식, 규모

• 크롤링, 모델 생성, 크라우드 소싱, JSON, txt 등

Why

• 수집 목적, 기대 결과

• Task별 목적 및 기대 결과

원시 데이터 종류

원시 텍스트 데이터 장르에 따른 분류

• 문어

  • 신문 기사, 소설, 수필, 논문, 잡지, 보고서 등

• 구어

  • 음성 파일을 텍스트로 전사한 것
  • 일상 대화, 연설, 강연
  • 준구어 : 방송 대본, 영화 대본 등
    • 구어 자체는 구하기가 어렵기 때문에 준구어도 많이 활용함

• 웹

  • SNS, 커뮤니티 게시판, 메신저 대화, 블로그, 이메일 등

원시 데이터 메타 정보

• 텍스트 자체를 설명하는 정보

• 사전에 정해진 양식에 맞춰 기록함

• (ex) NIA 텍스트 데이터 메타 정보

  • Identifier : 데이터셋 식별자
  • Name : 데이터셋 이름
  • src_path : 폴더 위치
  • label_path : 레이블 폴더 위치
  • category : 카테고리(Task)
  • type : 데이터셋 타입

원시 데이터 수집 시 고려사항

• 획득 가능성

  • 기한 내에 데이터를 습득할 수 있는가?
  • 데이터 구하기가 너무 어렵지는 않은가?
  • 데이터 가공에 시간이 많이 걸리는가?

• 데이터 균형과 다양성

  • 개체의 다양성
  • 목적 및 상황의 다양성
  • 시간 / 종류 / 사람 / 지역별 다양성

• 신뢰성

  • 데이터 품질 신뢰도

• 법 제도 준수

  • 개인정보 보호, 저작권 준수
  • 원시 데이터에 주석 작업을 하는 경우 결과물을 2차 저작물로 관리하기 때문에 라이선스를 잘 확인해야 함

• 데이터 윤리

• 저작권

  • 라이센스에 따라 주석 작업이 가능한 것이 있고, 불가능한 것이 존재
  • CC BY-SA : 주석 작업 가능 & 2차 저작물(결과물)도 CC BY-SA 라이센스로 설정 가능
  • CC BY-ND : 주석 작업 불가능
  • CC BY-NC-SA : 주석 작업 가능 & 2차 저작물(결과물)은 CC BY-SA로 설정 불가능

---

원시 데이터 처리

데이터 전처리 단계

• 추출 대상 확인

  • 어떤 데이터를 삭제할 것인가
  • 너무 긴 데이터, 너무 많은 데이터에 대한 삭제

• 불필요 요소 제거 및 변환

  • 개인정보 비식별화
  • 비윤리적 표현 정제

• 정제 대상 확인

  • 숫자, 외국어, 기호, 이모지, 오탈자 및 맞춤법, 개인 정보, 문장 분리 등

주석 도구

• 구글 스프렏드 시트

  • CSV 형식으로 Export 가능
  • 여러 명의 작업자가 동시에 작업 가능
  • 데이터 관리 용이
  • 작업과 동시에 저장이 됨

• 구글 폼

  • 단순 분류 문제 등 복잡한 주석도구가 필요하지 않은 경우 적합
  • 결과를 스프레드 시트로 바로 볼 수 있음
  • 작업자 모집에도 활용됨

• Brat

  • NER을 위한 초기 오픈 소스 데이터 주석기
  • 현재는 오래되어 많이 활용하지 않음

• Doccano

  • NER, 감성분석, 기계 번역 등에 활용됨
  • 주석 기능 제공
  • 서버 또는 로컬에 설치하여 활용

• Tagtog

  • 웹 기반 주석 도구
  • 다양한 형식 지원
  • 무료 이용 시 데이터를 공개해야 함
  • In/Out 형식이 다양함