AI가 페이지를 못 읽는 흔한 원인 6가지 — 색인성 점검 목록

AI 답변에 사이트가 안 나올 때, 콘텐츠 문장을 고치는 것보다 먼저 확인할 것이 있습니다. 페이지가 읽히는 상태인지입니다. 아래 여섯 가지는 진단에서 반복해 나오는 원인이고, 대부분 한 시간 안에 확인할 수 있습니다.

1. noindex가 남아 있는 페이지

<meta name="robots" content="noindex">나 응답 헤더의 X-Robots-Tag: noindex입니다. 스테이징에서 붙였다가 그대로 배포된 경우, 템플릿 전체에 걸린 경우가 있습니다.

확인은 페이지 소스에서 noindex를 검색하는 것으로 끝나지 않습니다. 응답 헤더도 봐야 합니다. 소스에는 없는데 헤더에 있는 경우가 있고, 이쪽이 더 찾기 어렵습니다.

2. robots.txt에서 막힌 경로

Disallow: /product/처럼 디렉터리 단위로 걸린 규칙이 핵심 페이지를 포함하는 경우입니다. 검색용 크롤러와 AI 크롤러가 같은 규칙을 읽으므로 한 줄이 양쪽에 걸립니다.

여기서 자주 나오는 조합은 robots.txt로 막고 noindex도 붙인 경우입니다. 크롤러가 페이지를 못 여니 noindex를 읽지도 못합니다. 색인에서 빼려면 robots.txt는 열어 두고 noindex를 남겨야 합니다.

3. 표준 주소가 다른 페이지를 가리키는 경우

<link rel="canonical">이 전 페이지에서 홈을 가리키도록 템플릿에 박혀 있는 경우입니다. 이러면 개별 페이지가 각자 인용될 주소를 갖지 못합니다.

원칙은 단순합니다. 각 페이지는 자기 주소를 가리킵니다. 파라미터가 붙은 주소와 목록의 페이지 2 이상은 예외로 따로 정합니다.

4. 리다이렉트 사슬과 루프

/product → /products → /products/ 처럼 두세 번 넘어가는 경로입니다. 넘어가는 동안 요청이 중간에 끊기면 본문에 도달하지 못합니다. 루프가 있으면 아예 도달하지 않습니다.

sitemap과 내부 링크는 최종 주소를 직접 가리키게 정리합니다.

5. sitemap과 실제 상태의 불일치

두 방향 모두 확인합니다.

• sitemap에 없는 핵심 페이지가 있는지
• sitemap에 있는 주소가 404나 리다이렉트를 주는지

sitemap이 리다이렉트·404 주소를 많이 담고 있으면 파일 전체의 신뢰도가 떨어집니다. 자동 생성이라도 분기에 한 번은 표본을 열어 확인합니다.

6. 같은 내용이 여러 주소로 있는 경우

/와 /index.jsp, 슬래시 유무, 대소문자, 추적 파라미터가 붙은 주소가 각각 살아 있는 경우입니다. 내용이 같아도 주소가 다르면 별개 페이지로 취급됩니다.

정리 방법은 하나를 정답 주소로 정하고, 나머지는 301로 그 주소로 넘기고, 표준 주소를 정답 주소로 맞추는 것입니다. 셋 중 하나만 하면 상태가 어긋납니다.

확인 순서

위에서 걸린 항목이 있으면 아래로 내려가지 않고 그것부터 고치는 것이 순서입니다. 3번이 막힌 상태에서 6번을 정리해도 결과가 달라지지 않습니다.

핵심 페이지 5개만 골라 이 표를 채워 보시면 됩니다. 대부분 6줄 중 한두 줄에서 걸립니다.