파이썬으로 웹 크롤러 만들기를 따라 공부를 시작한다.
IT동아리의 프로젝트와 졸업 프로젝트 모두 크롤링이 필수적인 서비스를 기획중이다. 현재 크롤링에 대한 지식이 거의 없기 때문에, 빠르게 Part1<스크래퍼 제작>부터 끝내보겠다. 이후 필요한 내용에 대해 Part2의 일부를 골라서 공부하거나, 인터넷 자료들을 참고하겠다.
웹스크레이핑: 데이터를 수집하는 작업 전체
프로그램을 만들어 웹 서버에 쿼리를 보내 데이터를 요청하고 이를 파싱해 필요한 작업을 자동으로 하는 방식을 많이 사용
다량의 데이터를 수집하고 처리하는데 뛰어남
딱 맞는 API가 존재하기 어렵기에 필수
