# robots

conan

메타 태그 robots에 대해 알아보자🙆🏻‍♀️

soyoungggg

robots.txt robots.txt는 검색로복에세 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안. robots.txt 파일은 항상 사이트의 루트 디렉토리에 위치해야 하며 로봇 배제 표준을 따르는 일반 텍스트 파일로 작성해야 한다. 예) h

jangws

.eslintrc와 .eslintrc.json의 차이는 무엇일까요? .eslintrc는 json이나 yaml 로 해석될 수 있으며 deprecated 됐다. 따라서 .eslintrc.json을 사용하는 것이 적절하다. https://dev.to/ohbarye/esli

hhyang986

Nearly two years before Japanese fashion titan Yusaku Maezawa embarked on his recent tourist visit to the International Space Station, he made global

leyuri

aws에 front 서버를 배포하기 위해 aws s3 에 버킷에 객체를 저장하기 위해, 프로젝트를 build & export 하는 과정을 거쳤다. 이후 export한 파일들 중 public 폴더 내 robots.txt 라는 파일을 발견했다.

poiuyy0420

scrapy-fake-useragent💎 Scrapy에서 간단하게 fake-useragent 방법을 정리하겠다.구글에서 scrapy fake useragent 검색을 하면 잘 나온다.아무래도 크롤링을 하다 보면 User Agent 정보를 headers에 추가해서 전달

byeol4001

meta태그에 대해서 검색하다 보니robot.txt같이 robots 접근을 제어하는 경우도 있는것을 보았다.그래서 도대체 어떤것이 검색엔진 최적화에 좋은지? 혹은 어떻게 로봇을 제어하는게 우선순위가 되는지가 궁금해졌다크롤러같은 robot들은 주로 검색엔진들의 인덱싱 목