robots.txt
robots.txt는 검색로복에세 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제 권고안.
robots.txt 파일은 항상 사이트의 루트 디렉토리에 위치해야 하며 로봇 배제 표준을 따르는 일반 텍스트 파일로 작성해야 한다. 예) http://www.example.co/robots.txt
robots.txt 규칙 예제
· 다른 검색엔진의 로봇에 대하여 수집을 허용하지 않고 네비어 검색로봇만 수집 허용으로 설정
User-agent : *
Disallow : /
User-agent : Yeti
Allow : /
· 모든 검색엔진의 로봇에 대하여 수집 허용으로 설정합니다.
User-agent : *
Allow : /
· 사이트의 루트 페이지만 수집 허용으로 설정합니다.
User-agent : *
Disallow : /
Allow : /$
· 관리자 페이지, 개인 정보 페이지와 같이 검색로봇 방문을 허용하면 안 되는 웹페이지는 수집 비허용으로 설정, 네이버 검색로봇에게 /private-image, /private-video 등은 수집하면 안된다고 알려줍니다.
User-agent : Yeti
Disallow : /private*/
· 모든 검색로봇에게 사이트의 모든 페이지에 대하여 수집을 허용하지 않는다고 알려줍니다. 사이트의 어떠한 페이지도 수집 대상에 포함되지 않는다.
User-agent : *
Disallow : /
sitemap.xml 지정
내 사이트에 있는 페이지들의 목록이 담겨있는 sitemap.xml의 위치를 robots.txt에 기록해서 검색 로봇이 내사이트의 콘텐츠를 더 잘 수집할수 있도록 도울 수 있습니다.
User-agent : *
Allow : /
Sitemap : http://www.example.com/sitemap.xml
