강의에서 크롤링을 진행했다.
크롤링을 직접 실행해 보긴 했지만
크롤링의 정확한 개념은 무엇일까
궁금했다.
나무위키에 나와 있는 크롤링의 개념이다.
- 크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부른다.
- Python이 이 분야의 선두주자로서, 컴퓨터 프로그래밍이 익숙하지 않은 비전공자들인 인문학이나 통계 분야의 종사자들이 쓰기 쉽도록 라이브러리들이 발달하면서 급격히 발전하고 있다. 대표적인 파이썬 라이브러리의 예로 beautifulsoup 등이 있다.
스크랩을 하는 것이라 생각하니 손쉽게 이해됐다.
쉽게 말해서 우리가 신문이라는 정보 창구에서
원하는 정보만 추출해서 다이어리에 붙이는 행위가 스크랩이다.
이를 웹에서 하는게 크롤링이다.
도전을 즐기는 자