인덱싱 (Indexing)
정의
검색 엔진이 웹 크롤러를 통해 수집한 웹페이지 정보를 분석하여 자신의 데이터베이스 목록에 체계적으로 등록하는 과정입니다.
핵심 특징
- 페이지 본문을 직접 읽지 못하더라도 외부 링크의 앵커 텍스트 정보를 바탕으로 수행될 수 있습니다.
- 크롤링(방문)과 인덱싱(목록 등록)은 서로 독립적인 프로세스로 작동합니다.
- 인덱싱이 완료된 페이지는 검색 엔진 결과 페이지(SERP)에 노출될 자격을 얻습니다.
관련 항목
- [[robots-txt]]
- [[noindex-meta-tag]]
인용 출처
- Google Explains Why URLs Blocked By Robots.txt Can Still Be Indexed via @sejournal, @martinibuster
- [[sources/sc-2026-06-19-google-explains-why-urls-blocked-by-robots-txt-can-still-be-indexed-via]]
haruzine 관점
단순한 데이터 수집을 넘어 검색 엔진이 해당 페이지의 존재 가치를 인정하는 최종 승인 단계입니다.
마지막 검토
2026-06-19