검색엔진(구글, 네이버 등)은 웹사이트를 크롤링(Crawling) → 색인(Indexing) → 검색결과 노출(Ranking) 과정으로 분석

크롤링(Crawling)

검색엔진 봇(크롤러, Googlebot 등)이 웹사이트를 방문해서 HTML 구조를 읽고 분석.

<meta name="robots" content="index, follow"> 같은 태그를 보고, 이 페이지를 크롤링할지 말지 결정.

<a href="..." 같은 링크를 따라가면서 다른 페이지도 자동으로 방문.

색인(Indexing)

크롤러가 가져온 웹페이지 데이터를 검색엔진 데이터베이스에 저장.

제목, 본문, 이미지, 메타태그(Open Graph 포함) 등을 분석해서 검색 결과에 노출할지 판단.

<meta name="description" content="..."> 같은 태그가 검색결과에 표시될 내용이 됨.

검색결과 노출(Ranking)

구글 알고리즘이 SEO 최적화 상태(페이지 속도, 키워드, 사용자 경험, 모바일 친화성 등)를 분석해서 순위를 결정.

예를 들어, <meta property="og:image" content="썸네일 URL">이 있으면 SNS 공유 시 썸네일이 자동으로 노출됨.

404 페이지처럼 검색에 표시되면 안 되는 페이지는 <meta name="robots" content="noindex, follow">로 설정해서 크롤링은 되지만, 검색에는 안 나옴.