SEO 감사 마스터하기 - Screaming Frog SEO Spider로 통찰력 열기

권장 사항: 크롤 데이터 덤프부터 시작하여 가장 큰 문제를 즉시 태그하세요. 사이트에서 Screaming Frog를 실행한 후, 각 URL 경로를 상태, 리다이렉트 및 캐노니컬 신호와 짝지은 CSV를 내보내세요. 이를 게시 수정 사항의 소스로 유지하고 편집자와 개발자에게 공유하는 데 사용하세요. 크롤 결과에 각 주요 페이지가 존재하는지 확인하세요. 크롤 데이터 자체가 타임스탬프가 찍힌 증거를 담고 있습니다.

regex 필터를 사용하여 문제를 유형(리다이렉트, 누락된 태그 또는 깨진 자산)별로 분리하고 수정 방안에 대한 선택을 비교하세요. URL 경로와 상태 코드로 필터링하여 패턴을 빠르게 파악하세요. 팀은 해결을 가속화하기 위해 높은 우선순위로 간주되는 문제를 표시할 수 있습니다.

프로토콜 신호와 캐노니컬 경로 매핑을 확인하세요: http가 https로 리다이렉트되는지, 중첩된 경로가 소스 코드와 정렬되는지, 그리고 게시 워크플로가 일관된 링킹을 사용하는지 확인하세요. 이는 크롤을 깨끗하게 유지하고 거짓 양성을 줄입니다.

유기 자산 감사: 제목, 메타 설명, 헤더 태그 및 이미지 alt 텍스트. 콘텐츠 소유자를 위한 살아 있는 체크리스트와 팁으로 변경 사항을 추적하세요. 수정 사항 로그를 유지하고 주간 유기 순위에서 영향을 측정하세요.

자동화는 감사 확장에 도움이 됩니다: 저장된 검사를 예약하고, 팁 중심 보고서를 생성하며, 열린, 수정된 및 새로운 문제를 보여주는 메인 대시보드를 제시하세요. 사용자가 우선순위를 선택하고, 소유자를 지정하며, 진행 상황을 모니터링할 수 있는 워크플로를 구축하고, 변경 사항을 확인하기 위한 자체 검사를 포함하세요.

큰 사이트의 경우, 경로별로 크롤을 분할하고 서버 과부하를 피하기 위해 요청을 지연시키세요. 크롤에 문제가 발생하면 깊이를 줄여 재시작한 후 결과를 병합하세요. regex를 사용하여 범위를 제한하고 팀과 공유하기 위해 덤프를 컴팩트하게 유지하세요.

게시 파이프라인을 주시하세요: 링크 유효성 검사, 캐노니컬 규율 및 리다이렉트 규칙. Screaming Frog를 기본 도구로 취급하고 데이터 공유를 위한 경량 프로토콜과 결합함으로써 감사 정확성을 개선하고 콘텐츠 팀의 의사 결정을 가속화할 수 있습니다.

User-Agent 선택이 크롤 결과와 데이터 신호를 어떻게 형성하는지 분석하기 위한 대상 단계

두 개의 주요 User-Agent 문자열(Googlebot Desktop 및 Googlebot Smartphone)을 선택하여 병렬 크롤을 실행하고, 각 UA에 대한 명시적 레이블로 결과를 스튜디오에 저장하세요.

동일한 범위 설정: 깊이, 서브도메인 커버리지 및 크롤 모드; 내부 경로가 UA 간에 어떻게 다르고 각 UA로부터 더 많은 요청을 받는 페이지가 무엇인지 식별하기 위해 강제 지향 시각화를 사용하세요.

필수 신호 포함: 상태, 응답 시간, 페이지 제목, 제목, 내부 링크 및 PageSpeed 점수; 데이터를 정렬하여 두 User-Agent 간에 빠르게 비교할 수 있도록 하여 인사이트를 매우 실행 가능하게 만드세요.

UA 간 상태 코드와 리소스 요청 차이를 검사하세요; Smartphone UA가 robots.txt에 의해 차단되거나 다르게 제공되는 페이지를 식별하고, 해당 UA에서 나타나는 콘텐츠 변형을 기록하세요.

실시간 관찰을 저장된 스냅샷과 업데이트로 전환하세요; 시간 경과에 따른 변경을 추적하고 이를 청중, 즉 이해관계자들이 행동할 수 있는 명확한 문법과 데이터 형식 지침이 포함된 간결한 리소스 세트로 전환하세요.

플랫폼 클러스터별로 결과를 구조화하고, 제목과 콘텐츠 블록을 비교하며, 추가 모드나 UA 문자열을 테스트하기 위해 선택 설정을 사용하세요; 이는 PageSpeed, 양식 필드 및 다른 신호를 포함하여 플랫폼 간 일관성을 검증합니다.

발견을 실행 가능한 단계로 전환하세요: 기능이 풍부한 콘텐츠가 있는 페이지를 우선순위화하고, 청중 요구사항과 정렬하며, 보고서에 실행 요약과 다음 반복을 위한 실용적인 체크리스트를 포함한 특집 섹션을 게시하세요.

크롤을 위한 적절한 User-Agent 선택 및 액세스 영향 평가

Screaming Frog SEO Spider의 기본 User-Agent를 사용하여 제어된 감사를 수행하세요. 속도와 정확성을 균형 있게 하기 위해 가벼운 크롤 발자국을 설정하세요. 사이트를 폭격하는 대신 요청을 제한하고, 필수 페이지를 시드하며 점진적으로 확장하세요. 이 접근 방식은 액세스 신호를 정기적으로 확인하고, 명확한 전략을 구현하며 웹사이트의 고가치 섹션을 우선순위화하는 데 도움이 됩니다.

여러 User-Agent 변형을 테스트하여 액세스 영향을 평가하세요: 기본 Screaming Frog Spider, Googlebot 및 모바일 User-Agent. 이는 접근성과 인덱싱 표면이 어떻게 다르고, 데스크톱 및 모바일 섹션 간 크기와 지연을 측정하는 데 도움이 됩니다. 놀라울 정도로 정확한 신호를 수집함으로써 상태 코드, 헤더 처리 및 캐노니컬을 빠르게 비교할 수 있으며, 결과를 감사에 입력하고 최종 결정을 업데이트할 수 있습니다. 업데이트된 서버 응답을 사용하여 중요 페이지에 우선순위를 두고 전략을 구현하세요. 이는 크롤 영향에 대한 웹사이트 생각을 안내합니다.

구체적인 테스트 계획 구현: 기본 User-Agent로 베이스라인 크롤을 실행하고 속도, 정확성 및 오류율에 대한 메트릭을 기록하세요; 그런 다음 동일한 범위에 대해 모바일 User-Agent로 전환하여 비교하세요. 과부하를 방지하고 접근성 검사를 신선하게 유지하기 위해 크롤 범위를 정기적으로 업데이트하세요. 이 프로세스는 의사 결정에 맥락을 제공합니다. 사이트를 업데이트한 경우 결과를 사용하여 전략을 세밀하게 조정하고 명확한 근거로 최종 결정을 문서화하세요. 이 프로세스는 차단된 자산, 잘못 구성된 캐노니컬 및 사이트맵 격차와 같은 문제를 발견하는 데 도움이 되며, 지속적인 감사를 지원합니다.

User-Agent	액세스 영향	최적 용도	장점	단점
Screaming Frog SEO Spider (기본)	robots.txt 준수; 제한 제어; 내부 구조에 좋음	페이지, 캐노니컬 및 내부 링크의 정기 감사	정확한 온페이지 신호; 작은 사이트에 빠름	속도에 의해 차단된 경우 외부 참조 누락 가능
Googlebot (시뮬레이션)	검색 엔진 관점 제공; robots 또는 제한에 의해 차단될 수 있음	인덱싱 가능성 및 헤더 처리 평가	현실적인 액세스 신호	정책 제한; 차단된 콘텐츠 가져올 수 없음
모바일 User-Agent	모바일 렌더링 및 응답 시간 테스트	반응형 및 AMP 페이지의 접근성	모바일 특정 문제를 빠르게 드러냄	추가 구성 및 별도 범위 필요

범위, 속도 및 예의에 대한 크롤 설정 구성

범위부터 시작하세요: 대상 정의, 크롤 스킴 설정 및 스캔할 폴더 제한. 관련 URL을 추가하고 다양한 사용자에 의해 사용되는 경로를 반영하는 포함 패턴을 사용하세요. 범위를 좁힘으로써 크롤을 집중적으로 유지하고 결과를 실행 가능하게 보장하세요.

드리프트를 피하기 위해 범위 제어 설정: 스킴(https만)으로 필터링, 선택된 폴더로 제한 및 첫 통과를 위해 크롤 깊이를 3–5 수준으로 제한하세요. 이는 구조를 빠르게 이해하고 관련 없는 영역에 불필요한 히트를 방지하는 데 도움이 됩니다.

예의와 속도: 서버 과부하를 피하기 위해 최대 스레드와 크롤 지연을 구성하세요. 안전한 시작점은 초당 1–2 요청으로 4 최대 스레드입니다; 서버가 응답성을 유지하는지 확인하기 위해 분석을 모니터링하고, 호스트가 견딜 수 있는 것을 초과하지 마세요. 스테이징에서 작동하는 경우 일시적으로 더 높게 밀어붙일 수 있지만 제어하세요.

캐노니컬 및 속성: 캐노니컬 신호를 캡처하기 위해 Crawl Canonicals를 활성화하고 페이지의 rel=canonical 속성을 검토하세요. 이는 중복 신호를 줄이고 폴더와 스킴 간 페이지 비교 시 피벗 품질을 개선합니다.

범위, 성능 및 데이터 품질: 크롤 깊이를 3–5 수준으로 제한하고 가장 가치 있는 폴더를 대상으로 Include/Exclude 규칙을 사용하세요. 이 설정으로 사이트 전체 패턴을 잃지 않으면서 집중된 감사를 실행할 수 있습니다. 대부분의 팀은 간결한 범위가 더 빠르고 신뢰할 수 있는 결과를 가져온다는 것을 발견합니다.

분석 및 결과: 응답 시간, 상태 코드 및 발견된 페이지 분포를 추적하기 위해 분석을 사용하세요. 철저한 평가를 위해 데이터를 내보내고, 후속 실행을 위해 크롤 설정을 최적화할 기회를 기록하세요. 분석은 주의가 필요한 페이지와 가장 신뢰할 수 있는 데이터를 제공한 전략을 보여줍니다.

변경 및 반복: 크롤 후 폴더별로 변경 및 발견된 문제를 검토하세요. 프로세스를 가속화하고 노력을 관리 가능하게 유지하기 위해 변경된 폴더만 재실행할 수 있습니다. 필요에 따라 피벗하여 새로운 전략을 테스트하고 베이스라인에 대한 개선을 검증하세요.

튜토리얼 및 문서: 캐노니컬 처리, 스키마 사용 및 크롤 패턴에 대한 모범 사례와 정렬하기 위해 튜토리얼을 참조하세요. 이는 프로젝트 간 재사용 가능한 스킴을 구축하는 데 도움이 되고, 추측 없이 가장 효과적인 접근 방식을 드러냅니다. 입증된 워크플로로부터 배우는 기회는 명확하며, 이러한 교훈을 사이트 구조에 적용하는 방법을 이해할 수 있습니다.

조직 및 재사용: 미래 감사에서 재사용할 수 있도록 구성을 크롤 스킴으로 저장하세요. 결과를 명확히 명명된 폴더에 저장하고 일관된 워크플로를 유지하여 이해관계자들이 일관된 데이터 세트를 받도록 보장하세요. 크롤이 완료되면 공유하고 반복할 수 있는 준비된 참조를 갖게 됩니다.

가장 중요한 것은 범위, 속도 및 예의 간의 적절한 균형이 신뢰할 수 있는 결과를 가져온다는 것입니다. 사이트에 가장 잘 작동하는 접근 방식은 대상, 서버 내성 및 수집된 분석에 따라 다를 것입니다 – 따라서 이전 크롤과의 비교를 사용하여 진행 상황을 정량화하기 위해 조정하는 것을 주저하지 마세요. 크롤이 완료되면 변경을 식별하고 SEO 전략을 세밀하게 조정하며, 캐노니컬 및 속성 정렬을 확인하고, 폴더에 쉽게 액세스할 수 있도록 저장할 수 있는 인사이트를 발견하게 됩니다. 라이브 페이지에 방해 없이 이러한 단계를 탐색할 수 있으며, 동료 및 감사에 대해 발견된 인사이트를 조직화할 수 있습니다.

크롤 전체에서 HTTP 상태 코드, 리다이렉트 및 URL 구조 분석

크롤 상태 보고서를 내보내고 진행 전에 비-200 상태, 리다이렉트 및 URL 이상에 행동하세요. 필요한 구성을 적용하세요: 기본 리다이렉트 규칙, 정확한 상태 코드 매핑 및 깨끗한 404 처리 설정. 이 접근 방식은 더 빠른 수정을 가져오고 팀에 정보를 제공하여 대상 및 순위 목표와 행동을 정렬하며, 문제는 잘못된 구성에서 발생하고 빠르게 해결됩니다.

중복 URL과 그 대상의 수를 검토하세요. 사용자 경험을 해치는 4xx 및 5xx 응답을 표시하고, 더 이상 사용되지 않는 경로를 정리하세요. 캐노니컬 태그가 순위 매기고 싶은 기본 버전으로 가리키도록 보장하여 제공 URL이 일관되게 유지되도록 하세요. 변경이 적용되면 이해관계자에게 영향을 알리도록 하여 인지시키고, 크롤 메트릭이 어떻게 변하는지 이해하기 위해 결과를 추적하세요.

리다이렉트 평가: 페이지네이티드 시리즈에서 relnext가 체크되었는지 확인하고, 리다이렉트가 크롤 그래프의 폴드 위 페이지로 이어지는지 확인하세요. 각 3xx에 대해 왜 발생하는지와 가치 보존 대신 루프를 생성하는지 확인하세요. 301 대 302의 기본 동작을 주시하고, 크롤 효율성을 해칠 수 있는 체인 연결된 리다이렉트 수를 세세요. 이 프로세스는 장기 안정성에 매우 도움이 됩니다.

크롤 전체에서 URL 구조 스크린: 포함을 확인하고 URL이 권장 길이를 초과하지 않으며, 모호한 문자를 피하고, 콘텐츠를 필터링하기 위해 필요한 매개변수가 페이지 중복 대신 사용되는지 확인하세요. URL이 깨끗하고 설명적인 경로를 포함하고 중복 콘텐츠를 생성하는 더 이상 사용되지 않는 쿼리 문자열을 피하도록 보장하세요. 변경을 문서화하기 위해 수와 구성을 사용하면 URL 구조가 올바른 콘텐츠 제공을 지원하고 순위 혼란을 방지하는 방법을 이해하는 데 도움이 됩니다.

온페이지 요소 검증: 제목, 메타 태그, H1 사용 및 캐노니컬 태그

Screaming Frog를 사용하여 제목, 메타 태그, H1 사용 및 캐노니컬 태그에 대한 집중된 감사를 시작하세요. HTML만 크롤하고 URL, Title, Meta Description, H1, Canonical, Status 및 Type 열로 문제를 내보내세요. 검색 결과에 페이지가 어떻게 나타나는지 반영하기 위해 사용자 에이전트를 Google의 프로토콜로 모방하도록 설정하세요. 중복 외관을 생성하는 내부 링킹 루프를 식별하고, 누락되거나 충돌하는 캐노니컬 태그가 있는 페이지를 표시하세요. 작은 배치로 문제를 수정한 후 변경이 적용되었는지 확인하기 위해 업데이트를 실행하세요.

제목 및 메타 태그: 모든 URL에 고유하고 설명적인 제목과 관련 메타 설명이 있는지 보장하세요. 컨텍스트에서 가장 짧은 안전한 길이를 목표로 하세요 – 제목은 대략 50-60자, 설명은 120-155자. 중복을 피하세요; 주제에 대한 여러 페이지가 있는 경우, 작가들은 여전히 일관된 패턴을 따르는 고유한 제목을 만들 수 있습니다(예: Brand | Topic). 필요 시 제공된 매개변수를 사용하여 제목 변형을 맞춤형으로 하고 게시 전에 다른 옵션을 테스트하세요. 작가들은 CTR과 검색 결과 외관을 개선하기 위해 단어 선택에서 작은 선택을 할 수 있습니다. 예시는 페이지와 템플릿 전체에서 어떤 변형이 가장 잘 작동하는지 검증하는 데 도움이 됩니다.

H1 사용: 페이지당 단일 H1을 강제하고 주요 키워드를 거기에 배치하세요. H2-H6을 사용하여 콘텐츠를 구조화하고 독자와 크롤러를 위한 흐름을 자연스럽게 유지하세요. 콘텐츠 모듈을 실행하는 경우, 단일 페이지 접근 또는 모듈 기반 페이지를 사용하며 시각적 계층이 명확하게 유지되도록 보장하세요.

캐노니컬 태그: 모든 페이지에 선호 URL로 가리키는 캐노니컬 링크가 있어야 합니다. 중복 인덱싱을 피하기 위해 Google의 캐노니컬화 프로토콜을 따르세요. 캐노니컬 URL은 사이트 전체 선호(예: http보다 https, non-www보다 www)를 반영하고 매개변수를 깨끗한 URL로 안내해야 합니다. 자체 참조 캐노니컬이 존재하는지 확인하고, 루프를 생성하는 다른 캐노니컬로 가리키는 페이지가 없도록 보장하세요.

검증 및 워크플로: 수정 적용 후 개선을 확인하기 위해 재크롤하세요. 체크 루프 사용: 전/후 비교, 업데이트 기록 및 필요 시 조정. 변경 예시와 이유가 포함된 간결한 감사 로그를 유지하세요. 작가와 개발자에게 권장 사항을 제공하고, 가능할 때 CMS 또는 사이트 코드에서 직접 변경을 구현하세요. 그런 다음 새 페이지에 프로세스를 반복하고 주기적 업데이트로 사이트를 시간 경과에 따라 모니터링하세요.

숨겨진 문제 발견을 위한 커스텀 추출 및 JavaScript 렌더링 활용

정적 HTML에 의존하는 대신 JavaScript로 렌더링하고, 인덱싱 및 사용자 경험에 영향을 미치는 동적 값을 추출하기 위해 Custom Extraction을 사용하세요. 이 접근 방식은 렌더링된 DOM이 훨씬 더 많은 데이터를 포함한다는 것을 보여주며, 페이지가 사용자와 검색 엔진에 제공하는 것을 시각화할 수 있게 하여 기본 크롤이 놓치는 것을 찾기 쉽게 만듭니다.

워크플로를 과부하하지 않고 필수 신호를 커버하기 위해 세 가지 집중된 추출을 구성하세요:

• 렌더링된 H1 텍스트 및 페이지 제목
• 렌더링된 DOM의 로봇 지시 및 noindex 존재
• 대체 언어 링크 및 캐노니컬 URL

Screaming Frog에서 효율적으로 설정하는 방법:

1. Configuration > Spider > Rendering 아래에서 JavaScript Rendering을 활성화하고 Chrome 기반 렌더링을 선택하세요; 이는 추출을 위한 다운스트림 데이터를 사용할 수 있게 합니다.
2. CSS Path 또는 XPath를 사용하여 세 가지 Custom Extraction 규칙 추가:
   1. 렌더링된 H1 및 제목: 렌더링된 HTML의 h1 및 title 요소에서 텍스트 추출.
   2. Noindex 및 로봇: meta name="robots"의 content 속성과 렌더링된 DOM의 X-Robots-Tag 신호 읽기.
   3. 대체 및 캐노니컬: link[rel="alternate"] 및 link[rel="canonical"]의 href 추출.
3. 크롤을 실행하고 각 규칙이 예상 값이 포함되어 있는지 확인하기 위해 Custom Extraction 탭을 검토하세요; 누락된 것이 있으면 선택자를 조정하고 재실행하세요.
4. Export 버튼으로 결과를 내보내 팀원과 공유하거나 스튜디오 대시보드에 붙여넣을 수 있는 내보낸 파일을 생성하세요.

출력 해석이 정보에 입각한 결정을 안내합니다:

1. 숨겨진 신호를 식별하기 위해 렌더링된 콘텐츠와 정적 HTML 비교; 초기 HTML에 존재하지 않는 데이터가 렌더링된 DOM에 포함되어 있다면 왜 렌더링이 그것을 드러내는지 조사해야 합니다.
2. Noindex가 렌더링된 뷰에만 나타난다면, 페이지가 인덱싱되어야 하는지 또는 렌더링이 다운스트림 인덱싱을 차단하는 잘못된 구성을 드러내는지 고려하세요.
3. 페이지 간 대체 링크 및 캐노니컬 태그 확인; 격차는 웹사이트와 언어 변형 간 충돌 신호로 이어질 수 있습니다.
4. 발견을 다운스트림 행동으로 매핑: 온페이지 마크업 수정, 서버 측 렌더링 조정 또는 페이지 속도 영향을 개선하기 위해 응답 초기에 중요한 콘텐츠 제공.

커버리지를 최대화하기 위한 실용적 워크플로 및 설정:

• 차이를 발견하기 위해 여러 장치 에뮬레이션 사용; 모바일에서 렌더링하면 데스크톱 크롤이 놓치는 대체 콘텐츠를 노출할 수 있습니다.
• 렌더링된 콘텐츠의 페이지 속도 영향을 모니터링; JavaScript가 무거운 페이지는 크롤이 느려질 수 있으므로 깊이와 크롤 속도를 균형 있게 하세요.
• 베이스라인을 단순하게 유지: 기본 추출부터 시작하고 정확성을 검증함에 따라 점진적으로 필드를 추가하세요.
• 결과가 준비되면 내보낸 데이터에서 시각화 대시보드를 생성하여 이해관계자를 위한 정보에 입각한 개요를 제공하세요.
• 짧은 노트로 발견을 문서화하고 정확한 페이지에 링크; 이는 팀을 일반적인 권장 사항 대신 구체적인 수정으로 이끄는 데 도움이 됩니다.

클라이언트 측 렌더링에 의존하는 웹사이트의 이점은 구체적입니다:

• 초기 히트 후 로드되는 중요한 것과 같은 인덱싱에 영향을 미치는 숨겨진 콘텐츠 발견.
• 렌더링된 출력에서만 보이는 noindex 차단을 드러내 생산 배포 전에 필요한 변경 안내.
• 모든 장치의 사용자에게 일관된 정보를 제공하기 위해 대체 경로에 대한 완전한 신호 제공.
• 내보낸 데이터와 스튜디오 등급 대시보드로 교차 기능 검토를 위한 더 빠르고 정보에 입각한 결정 지원.