참고 사이트 : https://developers.google.com/search/docs/beginner/seo-starter-guide?hl=ko
Google에서는 알고 있는 모든 웹페이지를 색인에 저장합니다. 각 페이지의 색인 항목은 해당 페이지의 콘텐츠 및 위치(URL)를 명시합니다. Google에서 페이지를 가져와서 읽고 색인에 추가하면 색인이 생성됩니다. Google 검색결과에 게재되는 사이트 중 대부분은 수동으로 등록된 것이 아니라, 크롤링을 통해 자동으로 발견되고 추가된 것입니다.
특정 하위 도메인에서 일부 페이지가 크롤링되지 않게 하려면 해당하는 하위 도메인에 별도로 사용할 robots.txt 파일을 만들어야 합니다. robots.txt파일은 반드시 root에 위치해야합니다.
Google 크롤러는 robots.txt 파일의 변경사항을 감지하고 24시간마다 캐시된 버전을 업데이트합니다. 캐시를 더 빠르게 업데이트해야 한다면 robots.txt 테스터의 제출 기능을 사용합니다.
✨ 세부 가이드
✨ 와일드 카드 사용이나 우선순위에 대한 규칙을 알고싶다면 이 링크를 참고하세요.
# brandonsbaseballcards.com/robots.txt
# Tell Google not to crawl any URLs in the shopping cart or images in the icons folder,
# because they won't be useful in Google Search results.
User-agent: googlebot (<-- 모든 크롤러 대상으로 하고싶으면 *)
Disallow: /checkout/ (<-- 크롤링되지 않게하고 싶은 하위 도메인)
Disallow: /icons/ (<-- 크롤링되지 않게하고 싶은 이미지, 규칙 적용 가능)
User-agent: *
Allow: / (<-- 크롤링을 허용)
Sitemap: http://www.example.com/sitemap.txt (<-- sitemap 파일의 위치)
Sitemap: http://www.example.com/sitemap.xml (<-- sitemap 파일의 위치)
<meta name="robots" content="noindex"> (<-- 모든 크롤러에서 색인 생성 금지)
<meta name="googlebot" content="noindex"> (<-- 구글만 색인 생성 금지)
<meta name="robots" content="noimageindex">
<meta name="robots" content="notranslate">
google search console에 로그인 후, '삭제' 메뉴에서 url을 입력해주세요.
(단! 6개월만 지속됩니다. 긴급하게 검색결과에 보이지 않게하고 싶을 경우에만 사용해주세요.)
Disallow에 하위도메인을 추가해주세요.
✨특정형식 파일의 크롤링 금지도 가능합니다. 자세한 건 링크를 참고해주세요.
User-agent: googlebot (<-- 모든 크롤러 대상으로 하고싶으면 *)
Disallow: /checkout/ (<-- 크롤링되지 않게하고 싶은 하위 도메인)
Disallow: /images/dogs.jpg(<-- 크롤링되지 않게하고 싶은 이미지, 규칙 적용 가능)
head에 다음 메타태그를 넣어주세요. title은 고유해야 웹표준을 준수할 수 있습니다.
(탭에 표시되는 이름만으로 어떤 페이지를 열어놓았는지 알 수 있기 때문입니다!)
<title>작가 홍길동 상세 페이지</title>
head에 다음 메타태그를 넣어주세요.
<meta name="Description" CONTENT="Author: A.N. Author, Illustrator: P. Picture, Category: Books, Price: £9.24, Length: 784 pages">
head에 다음 메타태그를 넣어주세요.
<meta name="viewport" content="...">
head에 다음 메타태그를 넣어주세요.
<meta http-equiv="refresh" content="...;url=..." />
head에 다음 메타태그를 넣어주세요.
<meta name="rating" content="adult" />
<meta name="rating" content="RTA-5042-1996-1400-1577-RTA" />
data-nosnippet을 이용하세요.
<p>
This text can be included in a snippet
<span data-nosnippet>and this part would not be shown</span>.
</p>
참고 사이트 : https://searchadvisor.naver.com/guide/seo-basic-intro
사이트의 소유 확인은 HTML의 meta 태그를 활용하는 방법 혹은 HTML 파일 업로드를 통해서 진행할 수 있습니다.
네이버는 로봇 배제 표준을 따르고 있습니다.
✨세부 가이드
네이버 검색로봇은 웹마스터도구에 제출된 RSS 및 사이트맵을 "콘텐츠 피드"로 간주하여 주기적으로 재 방문 합니다.
아쉽게도 RSS 피드는 본문을 포함하고 있기 때문에 많은 수의 URL 을 담기가 어렵습니다. 되도록 RSS 보다는 사이트맵을 적극적으로 활용하는 것을 권장합니다.
사이트맵의 파일 형식은 xml입니다. (sitemap.xml) 작성 후 robots.txt에 경로를 설정해주세요.
(예제코드)
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.example.com/article-1.html</loc> (<--수집대상 url. required)
<lastmod>2019-08-26T11:16:53+09:00</lastmod> (<-- 페이지가 수정된 날짜. optional)
<changefreq>weekly</changefreq> (<-- 페이지 변경 빈도. optional)
<priority>0.8</priority> (<--중요도. optional)
</url>
<url>
<loc>http://www.example.com/article-2.html</loc>
<lastmod>2019-08-26T11:16:53+09:00</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
<meta name="robots" content="noindex"> (<-- 모든 크롤러에서 색인 생성 금지)
웹마스터도구 > 사이트 > 요청 > 웹 페이지 검색 제외에서 삭제 대상 URL을 입력해주세요.
User-agent: Yeti (<-- *으로 설정했다면 모든 검색엔진봇을 허용한 것이므로 따로 설정할 필요 없습니다.)
Allow: /
사이트의 루트 디렉터리에 있는 robots.txt 파일을 수정한 뒤 검색로봇에게 빠르게 알리고 싶다면 웹마스터도구의 robots.txt도구에서 수집 요청을 눌러주세요.
head에 다음 메타태그를 넣어주세요. title은 고유해야 웹표준을 준수할 수 있습니다.
(탭에 표시되는 이름만으로 어떤 페이지를 열어놓았는지 알 수 있기 때문입니다!)
<title>작가 홍길동 상세 페이지</title>
head에 다음 메타태그를 넣어주세요.
<meta name="description" content="페이지 설명">
head에 다음 메타태그를 넣어주세요.
<meta name="viewport" content="width=device-width">
✨세부 가이드
최소 1일에서 몇 주간의 시간이 소요될 수 있습니다.
수집성공이 되더라도 네이버의 검색결과에 노출된다는 보장은 없습니다.
타 사이트에서 콘텐츠가 인용이 되고, 자연스럽게 검색로봇이 이를 인식하여 방문하는 방법을 권장합니다.
사이트 연관채널
✨세부 가이드
현재 지원하는 연관채널 도메인은 아래와 같습니다
🧵 네이버 서비스 : 블로그/카페/포스트, 스마트스토어/브랜드스토어, 네이버 TV, 언론사 홈
🧵 웹 채널 : 페이스북, 인스타그램, 아이튠즈, 구글 플레이 스토어, 트위터, 유튜브, 링크드인, 핀터레스트, 카카오 스토리
Microdata 형식으로 구현한 예제
<span itemscope="" itemtype="http://schema.org/Organization">
<link itemprop="url" href="http://www.mysite.com">
<a itemprop="sameAs" href="https://www.facebook.com/myfacebook"></a>
<a itemprop="sameAs" href="http://blog.naver.com/myblog"></a>
<a itemprop="sameAs" href="http://storefarm.naver.com/mystore"></a>
</span>