쇼핑몰, SNS, 검색엔진 등에서 데이터를 수집하기 위해 사람들은 crawling 기술을 사용한다.
나는 해당 기술을 이용하여 크몽에서 실제로 서비스를 판매해보았다.
이 때 상품의 유통은 엑셀로 데이터를 넘겨주거나 코드를 전달해 주는(프로그래밍 지식이 있는 분에 한해서) 방식으로 진행됐다.
전자의 방식으로는 사용자가 원하는 시간에 즉시 자신이 필요한 데이터를 받을 수 없었다. 전문가가 24시간 즉각적으로 사용자의 요구에 반응하는 것이 불가능하기 때문에 그 사이만큼의 딜레이가 발생했다.
두번째(코드 전달) 문제점은 전문가 입장에서는 코드실행 방법에 대해 설명해야하는 번거러움이 발생한다는 것이였고, 클라이언츠의 입장에서는 에러가 발생할 경우 자신이 디버깅을 해야한다는 점이다.
이러한 문제점을 해결하고자 나는 crawling 코드를 api 로 만들고자 한다. 우선 대표적인 SNS,검색엔진, 쇼핑몰 에 대한 api 를 구축하고 클라이언츠들의 요구에 따라 채널을 늘려가는 방식의 서비스를 구현하고 싶다. 해당 데이터에 대해 기본적은 분석을 제공하는 서비스도 추가하면 좋다고 생각함.
TO DO LIST
- DJANGO REST FRAMEWORK 를 이용하여 API 구축하는 방법 알아보기.
- API 를 이용하여 검색 엔진 및 커머셜 사이트에서 데이터 추출(JSON 형태로 반환) 해보기.
- 해당 API 를 프론트와 연동하기
