네이버 크롤러 Yeti
특정 사이트에 대해 robots.txt에 크롤링이 가능한지에 대한 규정을 기재. 크롤러가 robots.txt를 먼저 읽은 후 수집 가능 여부 판단. sitemap.xml은 크롤러가 사이트를 쉽게 이용할 수 있도록 함.
네이버 서치 어드바이저(searchadvisor.naver.com)
https://searchadvisor.naver.com/
사이트 관리 -> 웹마스터 도구 사이트 등록 -> URL 입력 -> 사이트 소유 확인(html 파일 업로드 or html 태그)
html 파일 업로드 시 어드바이저 페이지에서 다운받은 파일을 폴더에 저장. deploy 업데이트. 소유확인
사이트 목록에서 등록한 사이트를 선택 -> 검증 -> robots.txt 간단 생성. 모든 검색로봇 -> 검색 허용 -> 다운로드 -> 다운받은 파일을 폴더에 저장.
sitemap generator 검색해서 선택 -> url 입력 -> start -> view sitemap detail -> download your xml -> 다운받은 파일을 폴더에 저장.
deploy 업데이트.
웹마스터 도구 -> robots.txt 수집 요청 -> 요청 사이트맵 제출 -> 사이트맵 url 입력 부분에 sitemap.xml 입력
SEO(Search Engin Optimization)
검색 상위 노출되도록 최적화.
검색 엔진 최적화의 두가지 요소
네이버 서치 어드바이저(searchadvisor.naver.com)