검색·AI 가시성 가이드
SEO 크롤링 툴, 사이트 규모별 확인 항목
AI 보조 조사·작성 · 공식 자료 기반 · 실사용 시험이나 이용 후기가 아닙니다.
SEO 크롤링 툴은 사이트의 URL 수, 자바스크립트 의존도, 인증 방식, 서버 여유, 결과 내보내기 조건으로 고릅니다.
리뉴얼을 앞두고 전수 점검을 맡았는데 무료 URL 한도나 기능표부터 보고 계신가요? 같은 사이트도 URL 매개변수, 자바스크립트 렌더링, 이미지와 스크립트 저장 범위에 따라 실제 수집량과 필요한 자원이 크게 달라집니다.
먼저 검사할 호스트와 URL 유형을 정하고 작은 구간을 시험 수집하세요. 이 글은 검색엔진의 크롤링과 내부 진단 툴의 수집을 같은 개념으로 취급하지 않습니다. 특정 크롤러가 검색 노출을 높인다는 주장도 하지 않습니다.
이 가이드의 설명을 위해 직접 제작했습니다. 제3자 사진·제품 화면을 사용하지 않았습니다.
검사 범위와 접근 조건을 먼저 적으세요
전체 사이트라는 말만으로는 수집 범위를 정하기 어렵습니다. 운영 도메인과 서브도메인, 언어 경로, 매개변수 URL, PDF와 이미지, 스테이징 환경을 나눠 적으세요. 로그인 뒤 페이지가 포함된다면 테스트 계정과 세션 만료 방식도 확인하세요.
시작 URL을 넣기 전 체크리스트
- 정상 색인 대상, 리다이렉트, 오류, 제외 URL의 예상 개수를 적습니다.
- robots.txt와 사내 방화벽이 진단 크롤러를 막는지 확인합니다.
- 운영 서버와 스테이징 중 어디를 읽을지 개발 담당자와 합의합니다.
- 정규 URL, canonical, hreflang, 구조화 데이터 중 필요한 추출 필드를 정합니다.
사이트맵 URL 수와 실제 발견 URL 수가 다를 수 있습니다. 무한 달력, 필터 조합, 세션 매개변수가 끝없이 생기는 사이트라면 최대 깊이와 URL 패턴 제외 규칙을 먼저 준비하세요.
렌더링·용량·내보내기는 어떻게 비교하나요?
| 항목 | 확인 질문 | 시험 결과 |
|---|---|---|
| URL 용량 | 내부 HTML 외 구성 파일와 외부 링크도 한도에 포함되나요? | 발견·저장·렌더링 URL 수를 따로 기록 |
| 자바스크립트 | 원본 HTML과 렌더링 DOM을 나눠 볼 수 있나요? | 메뉴, 본문, canonical 차이를 비교 |
| 크롤 속도 | 초당 요청과 동시 연결을 조정할 수 있나요? | 응답 시간, 429, 5xx 변화를 기록 |
| 내보내기 | 원본 URL, 최종 URL, 발견 경로와 사용자 정의 추출을 받을 수 있나요? | 스프레드시트에서 재현 가능한지 확인 |
Screaming Frog의 SEO Spider 설정 문서는 이미지, CSS, JavaScript 같은 구성 파일의 저장·수집 여부와 JavaScript 렌더링 설정을 세분화합니다. 렌더링은 일반 HTML 수집보다 시간과 메모리를 더 요구할 수 있으므로 작은 구간에서 필요한 필드가 실제로 늘어나는지 확인한 뒤 범위를 넓히세요.
시험 수집 결과는 무엇을 봐야 하나요?
대표 템플릿을 하나씩 고릅니다. 홈, 카테고리, 상품 또는 서비스 상세, 게시글, 검색 결과, 로그인 필요 페이지가 후보입니다. 각 템플릿에서 HTML 수집과 자바스크립트 렌더링을 각각 실행하고 발견 URL, 상태 코드, 제목, canonical, 내부 링크 수를 비교하세요.
도구 오류와 사이트 문제를 구분하는 방법
- 브라우저와 curl 또는 서버 로그에서 같은 URL의 응답 상태를 확인합니다.
- 크롤러 사용자 에이전트만 차단되는지 점검합니다.
- 렌더링 대기 시간을 바꿨을 때 본문과 링크 발견량이 달라지는지 봅니다.
- 오류 URL의 발견 경로를 내보내 실제 내부 링크에서 재현합니다.
한 번의 크롤에서 5xx가 나왔다고 사이트 장애로 확정하지 마세요. 요청 속도가 너무 높았거나 인증이 풀렸을 수 있습니다. 반대로 도구 화면에 오류가 없더라도 중요한 URL이 시작 목록과 내부 링크에서 빠졌다면 전수 검사라고 부르기 어렵습니다.
이 가이드의 설명을 위해 직접 제작했습니다. 제3자 사진·제품 화면을 사용하지 않았습니다.
서버 부하는 어떻게 협의하나요?
Google의 크롤 예산 관리 문서는 검색 크롤러가 서버를 과부하시키지 않도록 응답 시간, 5xx, 429 같은 신호에 따라 수집 용량을 조정한다고 설명합니다. 내부 진단 크롤러는 Googlebot과 별개지만 서버가 감당할 요청량을 확인해야 한다는 운영 교훈은 같습니다. 검색엔진의 크롤 예산 수치를 사내 도구 속도 설정에 그대로 복사해서는 안 됩니다.
개발 담당자에게 시험 시간, 대상 호스트, 예상 동시 요청, 사용자 에이전트, 중단 연락처를 전달하세요. 응답 시간이 늘거나 오류율이 올라가면 자동으로 속도를 낮추는지 시연합니다. 야간에 실행한다는 이유만으로 안전하다고 보지 말고 백업, 배치, 배포 시간과 겹치는지도 확인하세요.
최종 후보에는 어떤 결과가 남아야 하나요?
후보 도구는 같은 URL 목록과 같은 속도에서 시험합니다. 필요한 렌더링 결과를 얻지 못하거나 발견 경로를 내보낼 수 없는 후보부터 제외하세요. 다음으로 최대 URL 수, 프로젝트 저장, 일정 실행, 협업 권한을 비교합니다.
선택한 뒤에도 크롤 결과를 검색엔진의 실제 색인 상태로 해석하지 않습니다. Search Console, 서버 로그, 실제 페이지 응답과 맞춰야 합니다. 리뉴얼 전에는 URL 매핑과 리다이렉트 검사를 반복할 수 있도록 설정 파일과 제외 규칙을 함께 보관하세요.
정기 크롤이 필요하다면 이전 실행과 무엇을 비교하는지도 정하세요. 전체 오류 개수만 보면 신규 URL 증가 때문에 수치가 바뀔 수 있습니다. 새로 생긴 오류, 해결된 오류, 계속 남은 오류를 나누고 담당자에게 전달할 수 있는지 확인하면 도구의 일정 실행 기능이 실제 운영에 맞는지 판단하기 쉽습니다.
공식 확인 자료
- Google 크롤 예산 관리 문서
검토 자료입니다. 서버 부하 신호와 적용 대상을 확인했으며 내부 크롤러 설정값을 직접 권장하지 않습니다.
- Screaming Frog SEO Spider 설정 문서
도구 문서입니다. 수집·렌더링 설정 범위를 확인했으며 직접 실사용 추천이나 검색 성과 보장이 아닙니다.
자주 묻는 질문
- 무료 SEO 크롤러의 URL 한도만 보면 되나요?
- 아닙니다. 구성 파일 저장, 외부 링크, 리디렉션, 렌더링 URL이 한도에 어떻게 포함되는지 확인해야 실제 수집 가능량을 판단할 수 있습니다.
- 모든 사이트를 자바스크립트 렌더링으로 크롤해야 하나요?
- 원본 HTML에 필요한 본문과 링크가 없다면 렌더링 결과를 비교하세요. 정적 HTML로 충분한 사이트까지 렌더링하면 시간과 메모리만 늘어날 수 있으므로 템플릿별 시험 뒤 정하세요.
- 크롤 속도는 빠를수록 좋은가요?
- 서버가 안정적으로 응답하는 범위 안에서만 빠른 속도가 의미가 있습니다. 429와 5xx, 응답 지연이 늘면 속도를 낮추고 서버 담당자와 원인을 확인하세요.
- 크롤러 결과가 정상이면 검색 색인도 정상인가요?
- 그렇지 않습니다. 내부 크롤러는 설정한 환경에서 접근 가능 여부를 검사합니다. 실제 검색엔진의 발견, 렌더링, canonical 선택, 색인은 Search Console과 검색엔진 문서로 따로 확인하세요.
출처와 확인 범위
- Crawl Budget Management · Google Crawling Infrastructure · 확인 2026-10-27
뒷받침하는 내용: Google은 서버 응답 시간과 5xx·429 신호 등을 고려해 크롤 용량을 조정하며 크롤 예산 안내는 주로 대규모·고빈도 사이트를 대상으로 합니다.
확인 범위·한계: Googlebot의 크롤링 안내입니다. 내부 SEO 크롤러의 안전 속도나 제품 성능을 정하지 않습니다. - SEO Spider Configuration · Screaming Frog · 확인 2026-10-27
뒷받침하는 내용: SEO Spider는 리소스별 저장·수집, JavaScript 렌더링, 속도와 제한 등 수집 설정을 제공합니다.
확인 범위·한계: Screaming Frog 제품 문서입니다. 직접 사용 평가나 다른 크롤러와의 성능 비교가 아닙니다.