[챗봇] 2. 위로 챗봇 "오복이" 데이터 전처리

데이터 전처리

사용 데이터

송영숙 님의 챗봇 데이터
https://github.com/songys/Chatbot_data

AI-HUB 웰니스 상담 데이터
https://aihub.or.kr/opendata/keti-data/recognition-laguage/KETI-02-006

AI-HUB 감성대화 말뭉치
https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=86

위 3가지의 데이터를 종합해서 사용했습니다.

• 데이터 통합

3가지 데이터 셋을 하나의 데이터로 통합했습니다.
그 과정에서 칼럼명을 통일 시켰고 중복된 데이터를 제거했습니다.

• 불필요 데이터 삭제

10자 미만 너무 짧은 대답은 삭제하였습니다.
대답이 “?”로 끝나는 즉 질문으로 끝나는 대답은 삭제하였습니다.
그 이유는 챗봇알고리즘은 싱글턴으로만 구성되어있기 때문입니다.
최종적으로 10만건의 데이터를 확보하였습니다.

대화 주제로 총 300가지의 증상 및 상태에대한 주제가 나왔습니다.텍스트

데이터 예시

심리상담에서 실제 많이 나왔던 대답으로 구성된 데이터 세트 입니다.
-우울증 관련 언어 의미 구조화 및 대화 응답 시나리오 동반 수집

• 일반인 1,500명 대상의 인터뷰 및 크라우드 소싱 수행
• 우울증 환자 대상 WOZ 대화 수집

Json Data Sample

"talk":{
   "id":{
      "profile-id":"Pro_03802",
      "talk-id":"Pro_03802_00023"
   },
   "content":{
      "HS01":"이번 프로젝트에서 내가 발표 실수를 해서 우리 팀이 감점을 받아서 너무 미안해.",
      "SS01":"실수하시다니 정말 죄송한 마음이 크겠어요.",
      "HS02":"내 능력이 부족한 거 같은데 그만 다녀야 하려나 봐.",
      "SS02":"능력을 올리려면 어떤 방법이 있을까요?",
      "HS03":"퇴근 후 여가에 회사 일을 더 열심히 해서 피해가 가지 않도록 해야겠어.",
      "SS03":"꼭 좋은 결과 있길 바라요."
 	}
 }