내 사이트, AI 검색엔 안 보일 수 있다

챗GPT(ChatGPT)·클로드(Claude)·퍼플렉시티(Perplexity)가 사람들을 웹사이트로 보내주는 시대다. 그런데 정작 이 AI들의 크롤러는 자바스크립트(JavaScript)를 실행하지 못한다. 내 사이트가 AI 검색에 보이는지 점검하고 고칠 방법까지 알려주는 클로드 코드(Claude Code) 스킬 'AI 크롤러 가시성'이 공개됐다.

무슨 일인가

구글 검색봇은 오래전부터 자바스크립트를 렌더링해 화면에 그려진 내용까지 읽는다. 하지만 AI 검색에 콘텐츠를 공급하는 크롤러들—클로드봇(ClaudeBot)·GPT봇(GPTBot)·퍼플렉시티봇(PerplexityBot)·바이트스파이더(Bytespider)·메타 외부 에이전트—은 서버가 보내준 원본 HTML만 읽는다. 그래서 리액트(React)·뷰(Vue)·스벨트(Svelte) 같은 클라이언트 렌더링 방식으로 만든 사이트는 구글에선 잘 노출되면서도 AI 답변에선 완전히 사라질 수 있다. "구글 트래픽은 오는데 AI에선 안 잡힌다"는 흔한 호소의 진짜 원인이 대개 이것이다.

핵심 짚어보기

이 스킬은 브라우저 없이, 자바스크립트를 못 읽는 크롤러와 똑같은 방식으로 페이지의 원본 HTML을 가져온다. 그리고 제목·메타 설명·정규 주소(canonical)·오픈그래프(Open Graph)·JSON-LD·크롤링 가능한 링크 같은 핵심 신호가 실제로 들어 있는지 페이지별로 진단한다. 판정은 세 가지다. 원본 HTML에 진짜 내용이 있으면 '보임', 일부만 있으면 '부분', 빈 껍데기면 '안 보임'이다. 거기서 그치지 않고 "SSR을 고려하라"는 막연한 말 대신, 쓰는 프레임워크에 맞는 구체적 도구·설정·확인 방법까지 처방한다. 별도 API 키 없이 파이썬(Python) 3만으로 돈다.

1인기업 실전 적용 포인트

• 랜딩페이지가 SPA라면 발행 전 'python3 scripts/check_visibility.py <주소>'로 '안 보임' 판정이 나는지 먼저 확인하라.
• '안 보임'이 뜨면 정적 생성(SSG)이나 서버 사이드 렌더링(SSR)으로 핵심 카피·소개를 원본 HTML에 박아 넣어야 한다.
• 제품 소개·가격·자주 묻는 질문처럼 AI가 인용해주길 바라는 정보일수록, 자바스크립트 뒤가 아니라 처음 HTML에 텍스트로 넣어라.
• 블로그·뉴스레터로 콘텐츠 마케팅을 한다면, 발행 채널이 AI 크롤러에 읽히는 구조인지부터 점검하는 게 SEO보다 먼저다.

전망 / 주의점

AI 검색이 트래픽 유입의 한 축이 된 지금, '검색엔진 최적화(SEO)'를 넘어 'AI 답변에 인용되게 만들기'가 새 과제로 떠올랐다. 이 스킬은 마케팅 카피를 써주거나 키워드를 찾아주진 않는다. 진단과 처방에 집중하는 도구이니, 노출 여부를 점검하는 첫 단추로 쓰는 게 맞다.

출처: AI 크롤러 가시성(GitHub) (https://github.com/MerqryLabs/ai-crawler-visibility)