SEO 최적화를 위해 robots.txt를 아래와 같이 작성하였고, Google Search Console의 robots.txt 테스터를 이용해 robots.txt 테스트하였다.
User-agent: *
Disallow: /
User-agent: Googlebot
User-agent: Yeti
Allow: /
Disallow: /user/방법
먼저 Google Search Console에서 사이트 소유권 확인을 한다.
사이트의 URL을 입력하고 계속을 누른다.
안내된 방법으로 사이트의 소유권을 확인한다.
이 중 메타태그를 추가하는 방법을 사용하였다.
소유권 확인이 완료되면 robots.txt 테스터로 테스트한다.
Fittering 사이트는 robots.txt는 문제가 없음을 확인하였다.
