llms.txt 및 AI 크롤러 접근 검사
/llms.txt와 /robots.txt 두 파일에 대한 읽기 전용 검사입니다. 문제를 보고하지만, 아무것도 작성하거나 변경하지 않습니다.
사용 시기
- "유효한 llms.txt가 있나요?", "내 사이트가 ChatGPT / Claude / Perplexity를 차단하고 있나요?", "AI 크롤러가 내 사이트를 읽을 수 있나요?"
실행 방법
python3 scripts/llms_check.py example.com
python3 scripts/llms_check.py https://docs.example.com --max-links 40
아웃바운드 HTTPS가 필요합니다. 최대 약 25개의 요청을 생성합니다 (llms.txt에서 --max-links 개수만큼 링크를 확인하며, 각 링크 사이에 짧은 지연이 있습니다).
검사 항목
/llms.txt가 200을 반환하고 텍스트 형식이며, HTML 소프트 404 페이지가 아닌지 확인합니다.- llmstxt.org 형식: 하나의
#H1,>요약,##섹션, 마크다운 링크. - 크기가 약 50KB 미만이어야 합니다 (에이전트가 로드할 수 있도록).
- 최대 N개 링크가 정상 동작하는지 확인 (HEAD, 실패 시 GET으로 대체).
/llms-full.txt존재 여부 (선택 사항).- robots.txt에서 GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended 및 CCBot의
/접근 권한.
결과를 정직하게 전달하세요
AI 검색 크롤러는 오늘날 llms.txt를 거의 가져오지 않습니다. 코딩 에이전트와 IDE 어시스턴트가 주로 사용합니다. AI 답변에 노출되려면 robots.txt 접근과 서버 렌더링 콘텐츠가 더 중요합니다. llms.txt를 과대평가하지 말고 사용자에게 이 점을 설명하세요.
예시
python3 scripts/llms_check.py plausible.io → llms.txt 누락 (404), 8개 AI 크롤러 모두 허용됨, 사이트맵 선언됨 → 유일한 수정 사항으로 "/llms.txt 게시"를 제안합니다.
파일 작성을 원하시나요?
- 초기 llms.txt를 작성하고, AI 봇에 대한 robots.txt를 감사하며 수정 체크리스트를 제공하는 유료 스킬: Ship llms.txt + Unlock AI Crawlers on Agensi
- 호스팅된 다중 페이지 검사: AEO & GEO Readiness Checker on Apify