프론트엔드 개발만 하다보니까 크롤링이 매력적이어서 이것 저것 찾아보고 있었는데 말씀하신 것처럼 전부 selenium, scrapy, bs4를 이용해서 직접 태그들을 일일이 inspect로 찾아본 다음에 그에 맞게 코드를 입력하고 있더라구요. 저희 회사에서도 초기에 프리랜서분이 만든 크롤러가 그 타겟 사이트의 카테고리 하나만 수정 돼도 바로 에러가 나고 일일이 수정해주고 있다는 말을 듣고 어떻게 그렇게 비효율적일 수가 있는지 놀랬었는데 이렇게 딱 짚어주시네요!

글 잘 읽었습니다! 나름 크롤러를 활용하여 편리하게 이용하고 있었는데, 그 근간부터 팩트 폭행당한 느낌이네요. 차근차근 올려준 링크들 읽어봐야겠습니다!
감사합니다.

이번에도 하트 안누르고 갈 수가 없네요. 매번 좋은 글 감사합니다 :)

얼마전에 기분전환 할 겸 크롤링을 해봤는데 생각보다 별거 없어서 오잉 했는데 찐 크롤링은 전혀 그렇지 않군요 ㅋㅋ 그래도 장난감 가지고 놀듯이 하기에는 재밌었어요! 언젠가 크롤링을 더 파보고싶게 된다면 공유해주신 링크 찾아가보겠습니다. 재밌는 글 감사해요

선생님 다음 신문기사 JSON 받아오는거 (지금은 안보이는거 같은데) 같이 서버측에서 뿌리는 JSON 데이터를 받아오는것도 크롤링이라고 할 수 있나요? 단어가 모호한것 같아 헷갈립니다 ㅠ

오 처음 글에서 계속 업데이트 되네요

좋은 글 잘 읽었습니다.

헉... 크롤링 관련 글 작성하기 전인데, 깊은내용 배워갑니다... ( _ _)

파싱해서 가져가는 정도가 아니라 아예 API ednpoint를 조진게 문제긴 하다.

endpoint 오타인것 같아요!

좋은 글 감사합니다 👍

이 글을 보고 Beautiful Soup으로 네이버 검색어 "크롤링" 하러 갑니다. HTML 다뒤졌다 ^_^

그 글들의 목표는 '크롤러 입문' 정도의 뉘앙스가 아닌가 생각합니다. 물론 검색 결과에서 몇 번 데인 후로 더는 한글 블로그에 들어가 본 적이 없네요ㅋㅋㅋㅋ.. 저도 셀레늄과 bs4로 만든 무언가에 '크롤러' 라고 이름을 붙여본 적이 없어서 더욱더 공감이 됩니다. 대다수 크롤러의 이름을 달고 있는 스크립트 들은 사실 변동탐색기나 자동화 정도의 이름이 적당하지요.

안녕하세요! 글을 너무 재밌게 쓰셔서 역주행 하다가 이 포스트까지 읽게 됐네요:)
저는 데이터 기반의 기획을 자주 해서 bs와 selenium을 활용한 스크래퍼(저는 이렇게 칭하고 있습니다!)를 많이 짜는데, 최근에 스크래퍼의 한계를 느끼던 차에 이 글을 읽어보니 괜히 크롤링에 대한 욕심까지 생겼습니다.😁 크롤러와 관련된 정보를 검색하면 대부분 http request와 관련된 내용만 나오는데(심지어 책에서도!), 혹시 크롤링을 공부하는데 괜찮은 사이트나 커뮤니티를 추천해주실 수 있을까요?

최근에 비슷한 말을 들었는데 그때 그냥 필요한 데이터만 얻어오면 되지 않냐는 식으로 받아쳤는데 반성하게 되네요

와.. 크롤러랍시고 selenium으로 automation해서 정보 긁어오는 코드 작성중인데 크롤러라고 부르면 안되겠내요

이 글을 읽고 벨로그 가입했습니다. 모빈켈님 사랑해요♥ 앞으로도 글 많이 올려주세요~

글 잘 읽었습니다. 그럼 웹페이지 특정 칼럼은( 예로들어 상품의 명과 가격만 가져오고 싶을때)
DOM based content extraction via text density 에 논문에 의하면 어떤 방식으로 가져오는 건가요? 웹페이지에서 긁어올만한 것들을 다 가져오는 개념은 어느정도 이해가는데 특정 주제 관련된 내용은 어떻게 가져오는지 궁금하네요 글만 봐서는 이해가 안가서 질문드립니다!

웹크롤링에 대해 최근에 관심이 생긴 1인입니다. 좋은 글 잘 읽었습니다. :-) 추후에 궁금한점을 여쭤봐도 실례가 안될지...모르겠네요.

좋은 글 잘 읽었습니다!!

크롤링에 대해서 잘 읽고 갑니다. 정말 글을 재미있게 쓰시고 유익한것 같습니다. 감사합니다.

이글이 찐이네요. 잘보고 갑니다 ^^

정말 좋은 글이네요! 감사합니다^^

크롤러로 먹고 사는데요. 본문이 무엇을 말하고자 하는건지 알겠는데..흠...

본문에 있는 웹크롤러는 검색을 위한 크롤러에 가깝고 사실 검색에 쓰려고 일반인 누가 크롤링을 하겠어요. 그래서 뉴스 댓글 긁기 이런류의 블로그에 돌아다니는 타겟팅도 저는 넓은 의미로 크롤러라고 생각하는 편이여서요. 이제 스크래핑이랑 크롤링 개념은 모호한 추세라..

참고로 웹 검색 관련해서 쓰시려고 하셨다면, 마지막에 크롤링 가능 여부에 대한 것은 robots.txt 뿐만 아니라 meta 태그의 nofollow 도 봐야 합니다.

잘 보고 갑니다. 하트 누르려고 가입하고 지나가네요 ㅎㅎ

저도 크롤링이라고 하면 단순히 웹문서를 파싱해서 원하는 데이터를 긁어오는 정도로 알고 있었는데 생각보다 깊고 방대한 개념이었군요. robots.txt에 대해서도 처음 알게 되었는데 네이버에서도 제공을 하고 있었네요. 몰랐던 걸 많이 알아갑니다.

그렇다면 흔히 크롤러와 착각하는 도구가 스크래퍼인건가요??

블로그에 올리신 분들이 다 토르발즈급 프로그래머라서 글을 올리는게 아니라 미숙한대로 배운 걸 자기 블로그에 올리는거 아닐까요? 분명히 크롤링의 시작이라고 할 수 있다고 봅니다.

말씀하신대로 블로그 크롤러 따라하다 페이지가 조금만 바뀌어도 안되네? 그럼 어떻게하지? 하면서 발전할 수 있고요.

글쓴분의 말은 굉장히 오만하게 들립니다. 글쓰기의 대가가 이 글을 보고 문법, 어법도 안 맞는 비문투성이를 블로그에 올리냐고 참견하는 것처럼요.

시작은 누구나 미약하고 미숙합니다. 글 내용에는 공감하지만 상기하신대로 불쾌하네요. 욕설이 아니라 글쓴분의 생각이요.

그래서 저는 개빡쳐서 수만건 수십만건 스크래핑할때 sns나 네이버 쇼핑몰 목록처럼 반응형 웹크롤링할때 api나 request 안부르고 driver로 고속 탐색후 병렬처리로 빠르게 연산처리시킵니다.. 생각보다 크롤링은 기초만 훓은거지 사람들이 깊이있게 스크래핑하는 코드는 없는거 같네영.. 크롤링하고 스크래핑이 결코 쉬운 분야가 아닌뎅.. 착각들 많이하시는듯 ㅠㅠㅠㅠ

안녕하세요! 글 잘 읽었습니다. 이번에 막 크롤링에 입문해서 도전해 보려고 했는데, 딱 이 글을 발견했네요. 스크래핑이 아닌 크롤링을 연구해 보고 싶은데, 혹시 괜찮은 튜토리얼을 알 수 있을까요? 웬만한 포스트들은 다 셀리니움 혹은 BS를 사용하고 있어서요!

진지하게 읽고 있다가 디지몬 프론티어 나오는 순간 집중 깨져 10분 쉬었습니다.

막연하게 인터넷으로 "스크래핑"을 배운 입장에서 이런 방대한 정보가 존재하는지 몰랐었네요..! 그동안 따라하면서 블로그에 포스팅한것도 수정해야겠어요!
단발성으로 데이터를 수집하는 관점이라면 "스크래핑"이 좋을지 모르겠으나 장기적인 관점에서는 깊이있는 탐구가 필요하단 생각이 드네요.
좋은 글 감사합니다.

저도 그런 글을 작성한 사람 중 한명이어서 부끄럽네요. 물론 공부했던걸 기록하기 위한 블로그였다곤하지만 이런 배경들을 알고 쓰는것과 모르고 쓰는것은 분명 다른 것 같습니다. 지금 다시 pypi의 bs4를 가보니 분명 'makes it easy to scrape information from web pages.' 라고 설명이 되어있네요. 좋은 글 읽고 블로그 글 조금이마 수정하러 가봅니다. 감사합니다!

새벽에 잠이 안 와 velog를 읽고있던 중 보석같은 포스팅을 찾았네요! 저도 그 수많은 블로그 포스팅 중 하나를 따라하여 크롤러를 만들까 생각하던 중 그것들이 (진정한) 크롤러가 아니었음을 깨닫고 갑니다!

너무 좋은 글 잘 읽고 갑니다.
저도 bs4로 스크래핑하는 프로그램을 만든 적이 있는데요.
이미 불법으로 만화 따위의 이미지를 공유하는 사이트가 있고, 그 사이트를 스크래핑하는 프로그램을 만들어서 공유하는 것은 위법일까요?
제 개인 취미로 만든 것 인데, 혹시나 해서 외부에 공유는 안하고 있습니다.
상관이 없다면 github정도에 올리려고 생각하고 있는데, 의견 주실 수 있을까요?

진짜 웃긴 분... 토이 프로젝트에 데이터 수집 필요해서 이것저것 찾는 중이었는데 좋은 글 감사합니다 :)

크롤링에대해서 공부하려고 검색하다 보게 되었습니다. 정말 좋은 글 이네요. 링크 걸어주신 것들도 시간 될때 읽어보도록 하겠습니다. 덕분에 제 웹 사이트에서 크롤링부분이 시간이 지나 왜 먹통이 됐는지 알게 되었습니다. 글 작성자님께서 말씀하신 대충 블로그 코드 참고해서 긁어와서 그런것 같네요. 감사합니다.

좋은글 감사합니다 😁
크롤링에 관해서 "크롤링은 이런거다"라는 글은 많이 읽어봤지만,
이렇게 팩트로 말해주시는 분의 글은 처음봤습니다

웹 크롤러 만들어보는 중인 학부생입니다. 저는 현재 OpenSSL과 Winsock2만 이용해서 크롤러를 만들어보려 하고 있습니다. 이 글을 진작 봤으면 좀 더 쉽게 설계했을 듯 싶네요...ㅠㅠ 확실히 온라인 상에 자료라고는 대부분 라이브러리와 API, Bs4 이용해서 쉽게 쉽게 만드는 법을 설명한게 전부더군요... 글쓴분 말씀대로 온라인에 있는 자료가 크롤러라 불릴 가치가 없는 프로그램들인 것 같긴 합니다. 하지만! 공부하는 학부생으로써 그런 포스팅들 조차 많은 도움이 됐습니다. 아마 저 수많은 글을 포스팅하고 강의 영상을 찍은 분들도 제대로 된 크롤러를 만들어 보기 전에 다소 쉬운 방법으로 실습해보라는 목적이 아니었을까요?

Cloud market research 하다가
크롤러가 뭐지? 한참을 머물렀네요 ㅋ 새해 복 많이 받으시고 좋은 일 많기를 기대합니다. 후원용 하트 쏘려고 가입도 완료 : )

안녕하세요, 글 잘 읽었습니다.
저는 정말 아무것도 모르는 사람이긴한데 한가지 궁금한게 있어 댓글 남깁니다.
그냥 특정 페이지(커뮤니티같은)에서 어떤 키워드들이 있는지, 어떤 동향인지 정도의 일회적인 데이터만 얻어도 되는 경우라면 인터넷에 나와있는 그러한 방법들로 작업을 해도 문제가 없는 것인가요?

크롤링이 뭐지하고 찾아보던 중에 유익한 글 너무 감사드립니다. 크롤링 찾아보면 죄다 API로 직접 가서 긁어오던데 이게 그 이유였군요???
직접 구현하기 어려운 분야라는것을 다시 알게되었습니다 ^0^...
그리고 링크 하나하나 달아주신거 감사드립니다~~~!

좋은 글 잘 읽었습니다. 저도 다른 분야에서 일하다가 개발에 관심이 생겨서 기웃기웃대는 중인데, 마치 우물밖의 풍경을 본 느낌입니다. 뉴비입장에선 제대로 된 정보를 판단할 능력이 없는데 교육에서 셀레늄, bs4 를 크롤링이라고 알려주다보니 그걸 그대로 받아들이게 되는 것 같네요. 사실 저도 셀레늄 쓰면서 어차피 모든 페이지의 특정 셀렉터를 일일이 찾아서 입력해야하면 생각보다 용도가 제한적이네?? 라는 생각을 하긴 했었습니다만.... 크롤링쪽으로 깊게 공부할 계획은 없지만 적어도 눈앞에 보이는게 다가 아니고 그 너머에 진짜가 있다는 것을 알게 되어서 기분이 좋습니다. 조금 늦었지만 새해 복 많이 받으세요.

이건 마치 시중에 떠돌아다니는 게임 매크로들은 매크로도 아니다 라고 말하는 거랑 마찬가지네. 당연히 해당 분야를 조금 더 깊게 공부해봐도 본문 내용은 아는 거고 오히려 말씀하신 블로그들이 크롤러라는 용어를 일반사람들에게도 전파해주는 좋은 영향을 주고 있는 건데. 모든 학문은 장난감처럼 가지고놀면서 시작하는 거지 문법 틀렸다고 영어 말하지 말라는 거랑은 거리가 멀다고 생각합니다만.

개발 뉴비 대학생입니다. 개인 프로젝트로 주식 관련 뉴스 웹크롤링이나 해볼까 해서 검색하다가 생각보다 뼈 때리는(?) 게시물을 보게됐네요 ㅋㅋㅋㅋ 역시 아무렇게나 css selector얻어서 텍스트 긁어오는건 멍청한 방식이라는걸 배웠습니다. 잘 모르고 웹크롤링하기보다 그냥 네이버의 오픈 API를 쓰는게 나을 것 같습니다 :) 감사합니다!

감사합니다.
블로그에 크롤링이라 적은 단어들을 scrap이라고 바꿔야겠네요.
덕분에 크롤링이라는 새로운 분야를 알게됬습니다.
왜 scrapy이름이 scrap인지 이제 느낍니다ㅋㅋ

' 기부하신 돈은 사리사욕을 위해 사용됩니다. ' 정말 마음에 드는 문구네요
좋은글 잘보고 갑니다 :-)

크롤링을 완전히 오해하고 있었네요.. 이 단어가 이렇게 잘못 전파되고 있었다니.. 크롤링이라 불리는 대부분의 것들은 얼른 스크래핑 이라고 고쳐야겠네요.
좋은 글 감사드립니다!!

잘 읽었습니다.
다른 블로그에서 크롤러라는 용어를 계속 사용하는 건, 역시 모빈켈님의 표현대로 마땅한 다른 용어가 없기 때문인 것 같아요. 그런데, 여러 페이지를 순회하며 html 구조 내에서 원하는 데이터를 찾아낸다는 목적성을 고려한다면, 비교적 유사한 개념의 용어 크롤러를 사용하는 건 그리 잘못되어 보이지 않거든요. 이런 점에서 보면 크롤러라는 용어는 현재 오용되고 있는 것이 아니고, 그 개념이 점점 더 확장되고 있는 상황이라고 볼 수 있을 것 같은데.. 이런 견해에 대해서는 어떻게 생각하시나요?

아 존나 웃기네. 형 뭐야. 멋지잖아

본문 내용이랑은 별 상관 없지만 여기어때 야놀자 크롤링(Hmm..) 사태는 항소심에서 무죄 받았더군요.

zz 욕설 레벨 2라니 뭐 기분나쁠것도 없네요
다만 웹 크롤러좀 그만 만들어라보단 웹 크롤러란 말 갖다 붙이지 말라는쪽이 제목에 더 맞을거같네요

안녕하세요. 크롤링에 대한 개념을 찾아보던 중 해당글을 찾게되어 흥미롭게 읽었습니다.
지금까지 크롤링을 웹페이지의 내용복사로 생각하고 css selector를 사용하는것이 당연하다 생각해왔기 때문에 말씀하신 크롤링이 어떤개념인지, 어떤 방식으로 동작할지 궁금해졌습니다.
글에서 말씀하시는 내용을 잘못짚은것 같긴 하지만,
[뉴스페이지에서 뉴스제목을 가져오기] 같은 방식의 크롤링을 위에서 말씀해주신
텍스트 밀도를 통한 DOM기반 컨텐츠 추출 , 하이퍼 링크를 통한 페이지 탐색 등을 이용해 만드는것이 가능한지 궁금합니다.
아직 배우는 단계라 질문이 많이 모자랄 수 있습니다. 하지만 인터넷 크롤링을 구현하려는 목표가 있어 말씀하신 내용이 궁금해 글 남겨봅니다.

정말 좋은 내용 잘 봤습니다.
근데 만약 robots.txt 설정을 안해놓은 사이트의 경우에는 가능하면 크롤링을 안하는게 일반적일까요?

고마워요 크롤러크롤러 들어만 보다가 보게된 첫 게시물이 이곳이라 잘배워갑니다.

ㅋㅋㅋㅋ 너무 맞는말인데 초보자한테 이렇게 설명하면 못 알아들으니까 어쩔 수 없는 부분인 것 같아요. 뭐랄까 크롤링의 단편적인 예시를 보여주는 게 요즘 블로그들에 나와있는 코드들이죠. 잘 읽고 갑니다.

크롤링에 관한 블로그 포스팅에서 이 블로그 링크를 달았습니다.
robots.txt 등 중요한 문제를 잘 짚어주신 글이라고 생각합니다.
https://cat-minzzi.tistory.com/18 https://cat-minzzi.tistory.com/17

데이터수집 첨할때 코딩 제대로 안배운상태에서 bs4 논리흐름코드로 웹스크랩했는데
잠깐 돌리다가 어 이거 디도스공격 아닌가? 싶어서 중단하고 타임슬립2초걸고함
지금은 다 배워서 리팩토링, 최적화하려고 sleep 기준 있는지 검색중
웹스크랩은 특정 목적이 있어서 1회성으로 돌리면 끝인데 크롤링은 뭐할때 쓰는지 궁금함 그런데 아직 알고싶지않음

이미 알고있는 웹사이트 뿐만이 아니라 모르는 웹사이트에서도 정보를 모아오도록 만드는 것이 크롤링의 핵심인 것 같습니다 주인장님이 말씀하신 대로면 점점 여러 웹사이트에서 정보를 모아올 수 있게 되겠네요 궁금했던 부분이 해결됐습니다 확실히 다른 블로그에서는 크롤링을 잘못된 개념으로 소개하고 있는 것 같습니다. 그것들은 한정된 사이트에서만 정보를 모아오니까요

우리는 그것을 스크래퍼라고 부르기로 했어요

zzz재밌게 읽었습니다!

정말 감사합니다. 제가 너무 하고 싶었던 말인데, 당신이 직접 해주셔서 너무 행복하네요 ㅎㅎ
되도 않는 얄팍하게 주위들은 거 가지고 마치 자기꺼라고 떵떵거리는 멍청한 사람들 때문에 저도 너무 답답했는데 정말로 감사합니다... 정말로... 제 생명의 은인이십니다.

대학교 졸업작품으로 진행하는 내용 중, 크롤링을 사용하게되어 인터넷을 돌아다녀보고 있었는데 일부의 사용을 전체로 적용할 수 있는 것 마냥, 또 변경에 대해서는 어쩔 수 없다는 식의 코드만 보다가 이제야 마음이 놓이는 글을 보게 되었네요. 게시글 작성하시느라 고생하셨습니다! 잘볼게요!! 😘

좋은 글 작성해주셔서 감사합니다. 많이 배우고 가요

안녕하세요. 본문에 나왔던 '가장 심각하게 잘못된 개념을 전파하는 게시글'의 블로그 주인입니다.

작성하신 글이 무슨 내용인지 다 읽어봤습니다.
저 글을 썼을 당시 개발은 처음이라 스터디 해주시는 분들이 쉽게 적응하게 도와주시며 크롤링에 대해 맛보게 해주겠다는 의미로 지식 공유를 해줬고, 배웠던 내용과 따로 정리하기 위해 다른 블로그 글들과 크로스 하며 블로그에 기록용으로 적어뒀던건데.. 이렇게 가장 심각하게 잘못된 개념을 전파하는 블로그라고 여기에 소개될줄은 몰랐네요

물론 mowinckel님이 크롤링에 대해 답답한 부분이 있고, 크롤링에 대해 정확한 설명을 하기위해 글을 쓰신거라는 부분은 이해합니다.
그런데 그냥 박제되버린 저의 입장에서는 이런식으로 글을 작성하여 심각한 개념을 전파하는 블로그라고 소개해주실게 아니라, 차라리 게시글에 댓글이라도 달아주셨으면 더 정리를 하거나 하다못해 수정이라도 했을텐데 이렇게 박제를 해버리셔서 참 안타깝습니다.

저도 배우는 입장에서 공부좀 더 해보겠다고 게시한 글이라, 누군가 잘못됬다는걸 알려줬으면 당연히 받아들일텐데 그저 이런식으로 많은 블로그들 중에서 제 블로그가 URL까지 공개하면서 이런 심각하게 잘못된 블로그가 되버려서 제 입장에선 좀 그렇습니다. 저런 개념 자체가 틀렸다는것 조차 몰랐던 시기였는데 말이죠 참..

간만에 뭐 좀 검색할게 있어서 제 블로그 검색했다가 2년전에 게시글 하나로 심정이 복잡해져서 갑니다. 게시글은 박제하신만큼 잘못된 크롤러를 싫어하신거 같아 내리겠습니다.

한 학생이 한걸음 한걸음 공부해 배운 내용을 블로그들에 정리 한 것들을 굳이 가져와 틀렸다며 선상에 올리고 비하하는 모습이 썩좋아보이진않습니다. 다들 크롤링을 배우자 하여 시작한 블로그일텐데 누구든지 처음엔 틀릴수 있고 그 틀림에 새로운 해답을 찾아가는 어린 새싹들을 팔아가며 조회수를 위해 자극적인 블로그를 쓰는 모습 정말 못났습니다. 부끄러운줄 아세요.

Crawler라는 용어를 무분별하게 잘못 사용하는 사람들 때문에 화가 아주 많이 나신 것 같아 보이네요.

인터넷 상에서 Crawler라는 용어를 잘못 사용하시는 분들이 나쁜 의도를 가진 것 같아 보이진 않습니다.

단순히 잘 몰라서 Crawler라는 용어를 잘못 사용하는 것인데, 잘 모른다는 이유로 불특정 다수를 욕까지 써가며 비난하기 보다는 친절하게 그건 Crawler가 아니라 Scraper가 정확한 용어라고 가이드를 주셨으면 어땠을까 하는 생각이 듭니다.

"대안 없는 비판은 공허한 비난일 뿐이다."

본문을 보면 본인도 정확한 용어인 Scraper는 정작 몰랐던것 같은데요.

"대안(정확한 용어)도 제시해주지 않으면서 일단 모르겠고 그건 무조건 Crawler는 아닌건 확실하니까 찐 공대생 개발자로서 난 그냥 두고 볼 수 없어. 욕을 할꺼야!" 이런 태도가 마치 쇼미더머니에 나오는 일부 힙찔이들의 힙부심이 느껴질 정도입니다.

누군가 모빈켈님이 잘못 알고 있는 지식을 욕까지 하면서 비난하면 기분이 어떠실까요? 정확한 지식도 알려주지 않으면서요.

"그래도 그렇지. Crawler를 정확히 모르는건 너무 심하지 않느냐?" 라고 반문하실 수 도 있지만, 세상은 모두 상대적인 겁니다.

본인이 당연히 아는걸 누군가는 모를 수 있고, 반대의 경우도 허다합니다.

모빈켈님보다 훨씬 더 대단한 많은 사람들이 모빈켈님의 글을 보고 "뭐야 이 좃병신은? ㅋㅋ" 이라고 생각할 수 있다는거죠.

지식보다는 지혜가 중요하고, 최고의 지혜는 겸손과 친절이라고 합니다.

Crawler에 대한 해박한? 지식도 좋지만 겸손과 친절이라는 지혜도 배우시면 어떨까요?

본문에 아키텍처부분 사진 수명이 다된거같은데요? 🤪

공부하는 과정에서 모빈켈님 글에 뼈 맞으며 보고 있습니다.
학습하면서 개발자가 만나는 법적이슈로 개인정보보호 외에 '어떤 이슈가 있을까?'에 궁금함을 품고 있었는데, 다른 사례를 만나니 흥미롭고 재미 있었습니다.

본문에서 야놀자 여기어때 법적 다툼이 흥미로워서 최근 결과랑 용어를 조금 찾아봤습니다.
1. 본문에서 실형의 사례에서 1심 결과 피고인 3(개발자) 징역 10월, 집행유예 2년, 사회봉사 120시간으로 징역형이 선고된 것은 맞으나 실형이 떨어진 것은 아닌 것으로 보여요.
2. 최종 결과가 궁금해 조금 더 찾아봤습니다. 시간이 지나서 대법원에서 최종 무죄가 나왔습니다.
21년 1월 2심 무죄(https://www.law.go.kr/precInfoP.do?precSeq=221911)
22년 5월 대법 확정(https://www.law.go.kr/precInfoP.do?precSeq=221765)
서비스를 제공하는 측에서 생각할 것이 더 많구나 생각했고, 개발을 하면서도 법적 이슈를 생각해 봐야겠구나 싶었습니다.

여러 방면에서 도움되는 글 감사합니다.

어떠한 라이브러리도 사용하지 않는다면,
http로 요청해서 직접 만드는 것도 하나의 방법이겠네요.

재밌게 잘 읽고 갑니다 :)

내용이 유익하고 공감되는 부분이 많습니다. 저도 몰랐던 부분도 알게됐네요. 그런 좋은점과 별개로
글쓴분 사상과 태도,말투가 자아도취된 시니컬한 개발ㅉㄸ보는거같아서 속이 메쓰껍습니다. 만약 재밌게 글을 쓰려고 하신거면 취지는 이해하나 읽는이들의 반감을 사지 않고도 재밌게 쓸수있는 방법이 많으니 좀 생각해보시는걸 추천드립니다. 굳이 적을 만들 필욘 없으니까요

안녕하세요~ 크롤링을 입문하려고 한 학생인데
조금 잘해보려고 크롤링을 라이브러리를 써서 해볼까.. 라고 하던 참에 이 글을 보고
그냥 가볍게 서비스로 간단하게 사용해보고 불편함을 느끼면 이 글의 논문을 참조해서 잘 만들어봐야겠다는 생각이 들었습니다.
좋은 글 감사합니다

재미있게 잘 읽고 갑니다.
종종 들리겠습니다.

👎🏻👎🏻👎🏻👎🏻👎🏻

00년대에나 쓸 법한 싸구려 쿨병 문체로 억지 분노에 취해 섀도복싱하는 느낌이 드네요. 아쉽습니다. 👍🏻

지금 시작하려는 프로젝트에 웹페이지 파싱이 필요해서 이것 저것 구글링하다가 이 글을 보게 되었네요 덕분에 robot.txt 윤리를 포함해서 좋은 지식 많이 알아갑니다.