예시
1) 네이버 검색 로봇만 수집 허용
User-agent: *
Disallow: /
User-agent: Yeti
Allow: /2) 모든 크롤러 허용 (1)
User-agent: Yeti
Allow: /이 경우, 네이버 검색 로봇의 크롤링을 허용하지만, 그 이외 봇들에 대한 언급이 없다. 명시적으로 언급이 되어 있지 않으므로 다른 봇들의 크롤링도 허용한다의 의미가 돼 버린다.
3) 모든 크롤러 허용 (2)
User-agent: *
Disallow: 또는 빈 robots.txt를 만들거나 위의 코드를 아예 작성하지 않는 방법으로 모든 크롤러를 허용시키게 할 수 있다.
4) 모든 크롤러 비허용
User-agent: *
Disallow: /
http://www.robotstxt.org/robotstxt.html#:~:text=To%20allow%20all,one%20at%20all
