봇 배제 표준 : https://ko.wikipedia.org/wiki/%EB%A1%9C%EB%B4%87_%EB%B0%B0%EC%A0%9C_%ED%91%9C%EC%A4%80
robots.txt 설정 : https://searchadvisor.naver.com/guide/seo-basic-robots
자바스크립트 검색 최적화 : https://searchadvisor.naver.com/guide/seo-advanced-javascript
# 예시
User-agent: googlebot # googlebot 로봇만 적용
Disallow: /private/ # 이 디렉토리를 접근 차단한다.
User-agent: googlebot-news # googlebot-news 로봇만 적용
Disallow: / # 모든 디렉토리를 접근 차단한다.
User-agent: * # 모든 로봇 적용
Disallow: /something/ # 이 디렉토리를 접근 차단한다.
User-agent: * # 모든 로봇 적용
Allow: /your-javascript-url # 이 디렉토리는 접근 허용한다.
Allow: /your-css-url
User-agent: *
Disallow: /
_