2개월 간 진행한 최종 프로젝트는 이전 프로젝트에 비해 시간적 여유가 있을거라 생각했으나 그것은 큰 오산이었습니다. 밀려드는 산출물 작성과 팀원의 중도 이탈 등 개발 외에도 신경쓸 일이 꽤나 많았습니다. 물론 회사에서 일하면 이것보다 버라이어티한 일이 훨씬 많겠지만,, 각설하고, 부트캠프를 수료한지 2주가 지났지만 마지막 기록을 남겨보고자 합니다.
주제는 뭔가요?
프로젝트를 시작하기 전, 각 팀이 발표되고 팀별 프로젝트 주제를 선택하는 시간을 가졌습니다. 우리팀은 애초에 Fine-Tuning을 하고 싶어서 모인 멤버였는데, 희한하게도 만장일치로 파인튜닝이 필수가 아닌 주제를 선택하게 되었습니다. 우리가 선택한 주제는 LLM을 활용한 상담 챗봇이었고, 세부 주제를 위한 회의를 거쳐 반려견 행동 상담 챗봇을 개발하게 되었습니다.
개발 과정: 주제 선정부터 데이터 수집까지
1. 세부 주제 선정
위에서 언급했듯이 각 팀에는 정해진 대주제가 있었고, 그에 따라 세부 주제를 정해야 했습니다. 우리팀은 반려견 상담, 소상공인 지원, 자동차 정비 상담 등 여러 아이디어가 나왔었는데, 관련 데이터 조사를 통해 반려견 상담으로 정하게 되었습니다.
2. 산출물 작성 및 멘토링
최종 프로젝트는 실무에 초점을 두고 있기에 기획서 작성이 필수였습니다. 기획서를 통해 타사 서비스와의 차별점, 프로젝트 배경, 프로젝트 목표, 주요 고객, 주요 기능, 개발 계획 등 실제 회사에서 서비스를 만들어 판매 또는 광고 등을 통해 수익을 낼 수 있는 구조로 만드는 설계의 과정이랄까? 이런 서류 작성에서 현직에 계신 멘토님의 도움이 굉장히 컸습니다. (특히, 우리 멘토님은.. 밤새 상담과 조언을 아끼지 않고 해주시는 정말 감사한 분이셨음ㅠ_ㅠ.. 아래는 초기 기획서의 일부입니다.)
이렇게 3, 4차 프로젝트의 반복이 될 줄 알았던 최종 프로젝트는, 팀별 멘토 배정, 중간/최종 발표에 심사위원 앞에서 발표를 하고, 점수를 매기고.. 하는 과정이 있었습니다.
3. 데이터 수집
주제가 선정되고 바로 데이터 수집에 들어갔는데요, 크롤링은 지난 몇 번의 프로젝트를 통해 해봤던 작업이라 수월하게 이뤄졌는데, 문제는 저작권에 위배되지 않는 데이터를 찾는 것이었습니다. 크롤링 해온 데이터는 유튜브 자막, 반려견 관련 커뮤니티, 수의사 블로그, 수의사 커뮤니티, 강아지 사료 회사 등의 정보였는데, 전문성에는 의심의 여지가 없었으나 일부 데이터는 저작권 허가를 받지 못해 사용하지 못한 것도 있었습니다.
4. 데이터 전처리
우리팀의 데이터는 7-8개의 각기 다른 사이트에서 수집한 자료로 필요한 컬럼으로 통일하는 과정을 거쳐 병합한 뒤 전처리를 진행하였습니다.
위의 사진은 수집한 데이터의 일부로, 데이터 대부분이 한글로 이루어져 있어 이전 프로젝트에 비해 수월하게 진행되었고 큰 특이사항은 없었습니다.
글이 너무 길어질 것 같아, 데이터 수집 이후의 이야기는 다음 편에 돌아오겠습니다. 혹 비슷한 주제의 프로젝트를 진행 중이거나 관심 있으신 분들을 위해 프로젝트 깃허브 링크를 남겨놓았으니 많은 관심과 피드백 부탁드립니다!
PetMind 반려견 행동 상담 AI 챗봇 GitHub 바로가기
PetMind 반려견 행동 상담 AI 챗봇 GitHub 바로가기
PetMind 반려견 행동 상담 AI 챗봇 GitHub 바로가기
