크롤링 (Web Crawling)

정의

검색 엔진이나 AI 서비스가 웹페이지를 자동으로 방문하여 콘텐츠를 읽고 저장하는 과정이다. 과거의 검색 봇보다 현재의 AI 에이전트는 신뢰성과 구조화 정도를 실시간으로 판단하며 수행한다.

핵심 특징

  • AI 에이전트가 과거 검색 봇보다 훨씬 까다로운 기준으로 크롤링 수행
  • 단순 텍스트 수집이 아닌 신뢰도, 구조 완성도를 실시간 평가
  • 웹사이트 접근 제한이나 복잡한 구조는 크롤링 회피의 원인이 됨

관련 항목

  • [[agent-readiness-score]]
  • [[indexing-ai]]

인용 출처

haruzine 관점

_(별도 코멘트 없음)_

마지막 검토

2026-05-25