크롤링은 웹페이지에서 데이터를 추출하는 행위를 의미한다. 이 정의를 봤을 때 그냥 그렇구나... 하고 넘기는 사람도 있겠지만 누군가 한명쯤은 혹시 크롤링 때문에 불법으로 신고 당하거나 하는 건 아닐까 걱정되는 사람도 있을 것이다. (내가 그랬거든ㅋㅋㅋㅋㅋ)
우선, 그런 걱정은 하지 않아도 된다.
크롤링은 웹사이트를 사람이 직접 탐색하는 것과 근본적으로 동일한 행위이며 단지, 그 작업을 사람이 직접 하느냐, 크롤링 봇이 대신 하느냐의 차이만 가지고 있다고 이해하면 된다. 비유하자면 마치 밭 가는데 사람이 직접 가느냐, 기계로 하느냐 정도의 차이다.
그렇다면 크롤링이 완전하게 안전한 행위냐?
그건 아니다. 실제로 크롤링과 관련된 소송 사례가 있긴 하기 때문이다. 하지만 이 소송의 쟁점들은
- 크롤링을 통해 대상 사이트의 서버에 문제를 일으켜 다른 사용자들의 이용을 방해한 경우
- 대상 사이트가 수익을 얻는 데이터를 개인의 수익화에 이용할 경우
로 정리할 수 있다.
다시 말해 서버가 맛이 갈 정도로 과도한 양의 데이터를 긁어오거나, 남이 돈 벌려고 만든 자료를 이용해서 수익을 내는 것만 안 하면 크롤링은 문제 생길 여지가 없다는 뜻으로도 정리가 가능하다.
하지만 크롤링이라는 행위가 문제를 일으킬 여지가 아예 없는 것은 아닌만큼 일부 사이트의 경우에는 이에 대한 규정이 마련된 곳도 있다. 불안하다면 크롤링을 하려는 사이트에서 이것을 찾아서 확인해보는 것을 추천한다.
