Spicrawl docs2skill은(는) 무엇을 하나요?
llms-txt.mjs는 사이트의 사이트맵(또는 홈페이지 링크)에서 페이지를 발견하고, Spicrawl API로 페이지를 일괄 수집하여 깨끗한 Markdown으로 변환한 후 llms.txt와 llms-full.txt를 작성합니다. --skill <이름> 옵션을 사용하면 에이전트 스킬 폴더(SKILL.md + references/*.md)와 AGENTS.md도 함께 생성합니다.
설정
- Node >= 18과
SPICRAWL_API_KEY환경 변수에 설정된 Spicrawl API 키가 필요합니다 (https://app.spicrawl.com에서 무료 키 발급, 월 1,000 크레딧). 변수가 설정되지 않은 경우 사용자에게 export 하도록 요청하세요. 사용자에게 채팅에 키를 붙여넣도록 요청하지 마십시오. - 이 디렉토리(
llms-txt.mjs가 있는 폴더)에서npm install을 한 번 실행합니다.
실행
이 디렉토리에서 실행합니다:
node llms-txt.mjs https://docs.example.com # ./out에 llms.txt + llms-full.txt 생성
node llms-txt.mjs https://docs.example.com --skill example-docs # 추가로 out/example-docs/SKILL.md, references/, out/AGENTS.md 생성
node llms-txt.mjs https://example.com --include /docs --max 100 # /docs 하위 페이지만, 최대 100개
node llms-txt.mjs https://app.example.com --js # JavaScript 렌더링 (페이지당 비용 증가)
--max는 가져올 페이지 수를 제한합니다 (기본값 50). 도구는 시작 전에 예상 크레딧 비용을 출력합니다.--skill은 kebab-case 이름(소문자, 숫자, 하이픈)을 받습니다. 유효하지 않은 이름은 API 호출 전에 거부됩니다.- 생성된 스킬을 사용하려면 폴더를 에이전트의 스킬 디렉토리로 복사하십시오. 예:
cp -r out/example-docs ~/.claude/skills/(Claude Code) 또는 리포지토리의.agents/skills/.
출력 읽기
- 최종 요약 줄에는 작성된 페이지 수와 실패, 차단(사이트가 HTTP 4xx/5xx 응답) 또는 빈 페이지로 건너뛴 페이지 수가 표시됩니다. 건너뛴 페이지는 0 크레딧입니다.
- 같은
--out디렉토리에 더 적은 페이지로 다시 실행하면 이전 참조 파일이 그대로 남습니다. 완전히 새로운 결과를 얻으려면 먼저 폴더를 삭제하세요.
비용
일반 가져오기의 경우 페이지당 약 1 크레딧, --js는 페이지당 더 많은 비용이 듭니다. 무료 요금제에서는 작은 --max로 시작하고 출력이 적절해 보이면 범위를 넓히십시오.
가드레일
- API 키를 절대 출력, 로그 또는 커밋하지 마십시오.
- 사이트의 이용 약관과 로봇 규칙을 존중하십시오. 사용자가 이 방식으로 사용할 수 있는 문서에 대해서만 스킬을 생성하십시오.
- 반복 실행하지 마십시오: 문서가 변경될 때까지 사이트당 한 번 실행이면 충분합니다.