페이지 접근·색인 점검표

공개하려는 페이지의 HTTP 응답과 색인 설정, 주소를 확인합니다. 접근 오류가 있는 주소부터 수정하고 같은 조건으로 다시 요청해 보세요.

HTTP 응답과 접근 규칙

핵심 페이지의 응답 상태와 최종 도착 주소를 확인합니다. 404·5xx 오류나 리다이렉트 루프가 있으면 해당 경로를 수정합니다. 내부 링크와 sitemap에는 최종 주소를 사용하세요.

robots.txt에서는 대상 크롤러의 User-agent에 적용되는 규칙을 읽습니다. 예를 들어 Disallow: /product/가 공개할 상품 경로를 막는지 확인합니다. 서버·CDN의 차단 여부는 응답 코드와 접근 로그에서도 살펴봅니다.

색인 지시어

색인 여부를 알리는 값은 HTML의 robots 메타 태그와 응답 헤더의 X-Robots-Tag에 들어갈 수 있습니다. 배포 전 환경에서 사용한 noindex가 공개 페이지에 남았는지 두 곳을 모두 확인하세요.

robots.txt로 페이지 요청을 막으면 크롤러가 그 페이지의 noindex를 읽지 못할 수 있습니다. 색인 제외가 목적이라면 크롤러가 해당 지시어를 확인할 수 있는지도 점검합니다.

표준 주소와 중복 페이지

서로 다른 내용을 다루는 모든 페이지에 홈 주소를 canonical로 넣으면 각 페이지의 대표 주소를 잘못 알리게 됩니다. 페이지별로 어떤 주소를 대표로 사용할지 정하세요.

같은 내용이 /와 /index.jsp, 슬래시 유무, 추적 파라미터 등 여러 주소로 열리면 대표 주소로 정리합니다. 이전 주소의 리다이렉트와 canonical, 내부 링크가 같은 주소를 가리키는지 확인합니다. 필터나 페이지 번호에 따라 내용이 달라지는 주소는 해당 내용을 고려해 규칙을 정합니다.

sitemap 대조

sitemap에 필요한 핵심 페이지가 들어 있는지 확인합니다. 등록한 주소를 요청해 정상 페이지가 열리는지도 봅니다. 리다이렉트된 주소는 최종 주소로 갱신하고 삭제된 페이지는 목록에서 정리하세요.

점검 결과에 문제 주소와 담당자, 수정 후 확인 방법을 함께 적습니다. 항목별 진단에서는 실제 수집한 값과 판정 기준을 확인할 수 있습니다.