본인이 운영하는 웹사이트의 검색수집, 색인반영 현황을 제공하고 검색에 친화적인 사이트로 관리하는데 필요한 진단 리포트를 제공하는 서비스
- robots.txt : 크롤러가 크롤링 가능 여부 확인시켜주는 역할
- sitemap.xml : 사이트에 대한 크롤러가 더 쉽게 탐색하도록 도와준다.
웹 크롤러는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램
ex)
네이버 검색로봇의 이름(User-Agent)은 Yeti 입니다.
- 오른쪽 배너에 웹마스터 도구를 클릭
- url을 등록해놓는다.
- 사이트 소유확인이 뜨는데
(1) HTML 파일 업로드
(2) HTML 태그
2가지 형태로 나타난다. (HTML 파일 업로드로 진행)- HTML 확인 파일을 다운로드 후 적용할 폴더에 복사후 서버에 다시 등록시킨다. (netlify에 deploy) => 안하면 찾을수없다면서 오류뜬다.
- 소유확인 버튼 클릭
- 웹마스터 도구에 사이트 등록을 확인할 수 있다.
- 등록한 사이트를 클릭후 검증 => robots.txt로 가준다.
- robots.txt 간단 생성을 통해 모든 검색로봇의 수집을 허용시킨다.
- 다운로드한다. (robots.txt 파일 다운)
- 마찬가지로 폴더에 복사후 서버에 다시 등록시킨다.
아무 sitemap 사이트를 통해 원하는 url을 누른후 start 같은 것을 눌러
site.xml이 만들어진다.
이 파일 또한 옮기고 등록시킨다.
url에서 sitemap.xml을 추가한 후 확인 버튼을 눌러주면 사이트맵이 제출된것을 알 수 있다.
우리는 사이트가 브라우저에서 잘 검색되게 하기 위해 방법을 쓰는데 네이버 서치어드바이서에서 해당 url에 대한 robots.txt를 만들어 크롤러가 robots.txt를 찾아 쉽게 검색되게 만들고 sitemap.xml을 서치어드바이서에 사이트맵을 제출하여 더 많은 웹페이지가 크롤링되게 도와준다.
sitemap.xml도 robots.txt와 마찬가지로 파일을 생성했다고 해서 웹사이트 검색엔진최적화 점수를 높이는데 영향을 주는 것은 아닙니다. 다만 앞에 언급된 바와 같이 검색 엔진 로봇의 일반적인 크롤링 과정에서 발견되지 않는 웹페이지에 대한 정보를 제공해주기 때문에 더 많은 웹페이지가 크롤링되고 색인될 수 있게 도와주므로, 넓은 의미에서 sitemap.xml을 설정하는 것은 검색엔진최적화에 긍정적인 영향을 끼칩니다.