robots.txt

정의

웹사이트의 루트 디렉토리에 위치한 텍스트 파일로, 검색 엔진 봇이나 AI 크롤러가 웹사이트의 어떤 부분에 접근할 수 있는지를 지정하는 '출입 관리 명부'이다.

핵심 특징

  • 특정 봇의 접근을 허용 또는 거절할 수 있는 지시문 포함
  • 과거에는 보안과 서버 부하 절감을 위해 무분별하게 봇 접근을 차단하는 경향
  • AI 시대에는 GPTBot 등 주요 AI 봇의 접근을 허용해야 검색 가시성 확보 가능

관련 항목

  • [[agent-readiness-score]]
  • [[user-agent]]

인용 출처

haruzine 관점

_(별도 코멘트 없음)_

마지막 검토

2026-05-25