초기 HTML의 본문 확인하기

브라우저에 제품 설명이 보이는데 페이지 소스에서는 같은 문장을 찾을 수 없는 경우가 있습니다. 본문을 자바스크립트 실행 뒤에 가져오는 구조인지 확인하세요.

HTML만 읽는 수집기에도 본문을 제공하려면 초기 응답에 필요한 내용을 담아야 합니다. 서버 렌더링이나 정적 생성을 사용하는 방법이 있습니다.

초기 응답 확인

페이지 소스 보기에서 화면에 표시된 문장 일부를 검색합니다. 개발자 도구의 요소 탭에는 자바스크립트 실행 후 바뀐 구조가 표시될 수 있으므로 초기 응답과 비교해서 봅니다.

명령줄에서 HTTP 응답을 받아 확인할 수도 있습니다.

curl -s https://example.com/product | grep "화면에 보이는 문장"

문장이 검색되지 않으면 응답 상태와 리다이렉트, 받은 HTML을 먼저 확인하세요. 정상 HTML을 받았는데 본문이 없다면 페이지가 내용을 불러오는 시점을 살펴봅니다.

브라우저에서 자바스크립트를 끄고 새로 고치는 방법도 보조 확인에 사용할 수 있습니다. 화면과 HTTP 응답을 함께 봐야 실제로 전달한 내용을 알 수 있습니다.

수정할 위치

제품·가격·자주 묻는 질문 등 고객이 먼저 찾는 페이지를 골라 다음 부분을 확인합니다.

• 본문: 핵심 설명을 초기 HTML에 포함합니다.
• 탭·펼침 영역: 접힌 상태에서도 응답 HTML에 텍스트가 있는지 확인합니다. 클릭 후 가져오는 내용은 초기 응답에 포함할 방법을 검토합니다.
• 이동 링크: 대상 주소가 있는 a href 링크를 사용합니다.
• 무한 스크롤: 목록의 다음 구간과 개별 상세 내용을 열 수 있는 주소·링크를 제공합니다.

크롤러별로 다른 응답을 주는 렌더링 서비스를 사용한다면 해당 이름으로 요청했을 때의 HTML도 확인하세요. 주요 수집기별로 받은 본문을 대조합니다.

수정 후 같은 주소를 다시 요청해 문장이 초기 응답에 들어왔는지 확인합니다. 항목별 진단의 수집 근거에서도 전달된 내용을 확인할 수 있습니다.