robots.txt
Robots Txt · 로봇 배제 파일
robots.txt는 사이트 루트에 두는 텍스트 파일로, 자동화된 크롤러가 어떤 경로에 접근할 수 있는지 사용자 에이전트별 규칙을 알립니다. 검색 결과 제거, 인증, 개인정보 보호를 대신하는 접근 통제 장치는 아닙니다.
AI 보조 조사·작성 후 원문과 대조한 설명입니다. 사례·계산은 별도 출처 표기가 없는 한 이해를 위한 가상 예시이며 실제 고객 성과가 아닙니다.
규칙은 어디에 적용되나요?
Google robots.txt 안내는 이 파일을 주로 크롤러 요청 관리에 쓰며 웹페이지를 검색에서 완전히 숨기는 수단이 아니라고 설명합니다. RFC 9309는 사이트 루트의 파일 위치, 사용자 에이전트 그룹, allow·disallow와 오류 처리를 정의합니다. 프로토콜·호스트·포트가 다른 사이트에는 각각 맞는 robots.txt가 필요하며 하위 폴더에 둔 파일은 전체 사이트 규칙이 되지 않습니다.
간단한 가상 규칙은 어떻게 읽나요?
가상 사이트가 내부 검색 결과의 크롤링을 줄이려면 User-agent: *와 Disallow: /search/를 줄 단위로 둘 수 있습니다. 이 규칙은 협조하는 크롤러에게 경로 요청을 삼가라고 알릴 뿐 브라우저 사용자의 접근을 막지 않습니다. 관리자 정보는 로그인과 서버 권한으로 보호해야 하며 robots.txt에 민감한 경로를 적는 일 자체가 경로를 공개할 수 있습니다.
배포 전 확인
- 루트 URL에서 200 텍스트 응답으로 열리는가?
- User-agent 그룹과 경로 대소문자가 의도와 맞는가?
- CSS·JavaScript 차단으로 페이지 렌더링이 깨지지 않는가?
- 검색 제외가 목적이면 noindex를 읽을 수 있게 했는가?
robots 차단과 noindex는 어떻게 다른가요?
robots.txt의 disallow는 크롤링 접근을 제한합니다. noindex는 크롤러가 HTML meta 또는 HTTP 헤더를 읽은 뒤 색인에서 제외하도록 지시합니다. 같은 URL을 robots.txt로 막고 noindex를 넣으면 크롤러가 noindex를 보지 못할 수 있으며 외부 링크로 발견한 URL 자체가 설명 없이 검색 결과에 남는 경우도 있습니다.
robots.txt로 비밀 문서를 보호할 수 있나요?
보호할 수 없습니다. 규칙 준수는 크롤러에 달려 있고 파일 내용은 공개되며 허용되지 않은 봇이나 일반 사용자는 경로를 직접 요청할 수 있습니다. 변경 뒤에는 robots.txt 응답과 대상 URL의 실제 크롤링·색인 상태를 따로 확인해야 규칙 파일이 열렸다는 사실과 검색 제외가 완료됐다는 판단을 혼동하지 않을 수 있습니다.
자주 묻는 질문
- robots.txt에 noindex를 써도 되나요?
- Google은 robots.txt의 noindex 규칙을 지원하지 않습니다. HTML meta나 X-Robots-Tag를 사용하고 크롤러가 응답을 읽을 수 있게 해야 합니다.
- Disallow 경로는 사용자도 열 수 없나요?
- 아닙니다. robots.txt는 접근 권한 장치가 아니므로 인증·인가와 서버 설정으로 비공개 자료를 보호해야 합니다.
출처와 확인 범위
- Introduction to robots.txt · Google Search Central · 확인 2026-10-27
robots.txt는 주로 크롤러 접근과 요청량을 관리하며 웹페이지를 검색 결과에서 완전히 제거하거나 비공개로 보호하는 수단이 아닙니다.
확인 범위: 표시한 절의 정의·프로토콜·측정 조건·한계만 사용했습니다. 크롤링·렌더링·색인·검색 노출·속도·순위·처리 기간 보장은 근거로 사용하지 않았습니다.
- RFC 9309: Robots Exclusion Protocol · RFC Editor · 확인 2026-10-27
RFC 9309는 robots.txt 위치, 사용자 에이전트 그룹, allow·disallow 규칙과 오류 처리 등 Robots Exclusion Protocol을 표준화합니다.
확인 범위: 표시한 절의 정의·프로토콜·측정 조건·한계만 사용했습니다. 크롤링·렌더링·색인·검색 노출·속도·순위·처리 기간 보장은 근거로 사용하지 않았습니다.