robots.txt과 Sitemap

robots.txt

robots.txt는 검색로봇(검색엔진 크롤러)에게 크롤러가 사이트에서 액세스 할 수 있는 URL를 알려주는 역할을 하는 파일로서, 웹페이지의 수집을 허용하거나 제한하는 국제 권고안이다. 이 파일은 어디까지나 국제 권고안이기 때문에 google혹은 naver등의 저명한 검색엔진이 아니라면 규칙을 준수하지 않을 수 있기 때문에 만약 외부에 노출을 허용하고 싶지 않은 컨텐츠의 경우에는 다른 방법을 이용하여 차단을 해야 한다.

robots.txt의 설정법과 같은 부분은 Naver과 google에서 자세한 가이드 알려주어 이를 따라 규칙을 준수하여 작성하면 된다.

Sitemap

사이트맵은 사이트에 있는 정보들의 관계에 대한 정보를 제공하는 파일로 검색엔진들은 이 파일을 읽어 사이트를 효과적으로 크롤링이 가능하게 해주는 역할을 한다. 사이트맵의 경우에는 작성가이드라인도 존재하며 자동생성해주는 사이트가 많기 때문에 이를 활용하면 더 손쉽게 작성할 수 있다.

robots.txt작성 가이드:

https://searchadvisor.naver.com/guide/seo-basic-robots
https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ko

사이트맵 소개:

https://developers.google.com/search/docs/advanced/sitemaps/overview?hl=ko