🙆🏻‍♀️ Meta tag robots 🙆🏻‍♀️

최근 회사에서 사람 이름이 검색 결과에 노출 되지 않는 작업이 필요했다.
robot.txt 만 알고 있던 나였는데(머쓱...) 이번 작업을 통해 메타 태그 요소 중 하나인 robots에 대해 알게 됐다.

검색 엔진 로봇이 페이지 정보를 수집하는 과정이 크롤링,
이 수집한 데이터를 검색 결과에 노출하는 것이 인덱싱이다.

robot.txt 파일에 크롤링 제어를 하면 인덱싱도 할 수 없지만,
이미 검색 결과에 노출된 뒤라면 메타 태그 robots를 활용해야 한다.

robots

메타 태그 robots는 name과 content 값을 통해 검색 엔진 로봇을 제어할 수 있다.

<meta name="{somthing}" content="{something}" />

다음은 자주 사용하는 name, content 속성들이다.

name

name에는 검색 엔진 로봇들의 이름이 들어간다. 대표적인 로봇들의 이름은 다음과 같다.

• robots (모든 검색 엔진 로봇)
• googlebot (Google의 검색 엔진 로봇)
• Yeti (Naver의 검색 엔진 로봇)
• Daumoa (Daum의 검색 엔진 로봇)
• Zumbot (Zum의 검색 엔진 로봇)

content

content에는 name에 적힌 로봇들에게 내릴 명령을 적을 수 있다.

• all (색인, 크롤링 제한 없이 모두 허용)
• index (페이지가 색인되어 검색 결과에 표시될 수 있음)
• noindex (검색 결과에 페이지를 표시하지 않음)
• follow (페이지를 포함해 링크된 페이지를 검색할 수 있음)
• nofollow (페이지를 포함해 링크된 페이지를 수집하지 않음)
• none (noindex, nofollow를 동시에 적용한것과 동일)