Offizielles Spicrawl docs2skill

Spicrawl docs2skill

llms-txt.mjs ermittelt die Seiten einer Website anhand ihrer Sitemap (oder der Links auf der Startseite), scrapet sie batchweise mit der Spicrawl-API in sauberes Markdown und erstellt llms.txt und llms-full.txt. Mit --skill <name> wird zusätzlich ein Agenten-Skill-Ordner (SKILL.md + references/*.md) sowie AGENTS.md geschrieben.

Einrichtung

1. Benötigt Node >= 18 und einen Spicrawl-API-Schlüssel in SPICRAWL_API_KEY (kostenloser Schlüssel unter https://app.spicrawl.com, 1.000 Credits/Monat). Wenn die Variable nicht gesetzt ist, fordere den Benutzer auf, sie zu exportieren. Bitte nicht bitten, den Schlüssel in den Chat einzufügen.
2. Führe npm install einmal in diesem Verzeichnis aus (dem Ordner, der llms-txt.mjs enthält).

Ausführung

Führe von diesem Verzeichnis aus:

node llms-txt.mjs https://docs.example.com                          # llms.txt + llms-full.txt in ./out
node llms-txt.mjs https://docs.example.com --skill example-docs     # zusätzlich out/example-docs/SKILL.md, references/, out/AGENTS.md
node llms-txt.mjs https://example.com --include /docs --max 100     # nur Seiten unter /docs, maximal 100
node llms-txt.mjs https://app.example.com --js                      # JavaScript rendern (kostet mehr pro Seite)

• --max begrenzt die abgerufenen Seiten (Standard: 50). Das Tool zeigt die geschätzten Credit-Kosten vor dem Start an.
• --skill erwartet einen Namen in Kebab-Schreibweise (Kleinbuchstaben, Ziffern, Bindestriche). Ein ungültiger Name wird vor jedem API-Aufruf abgelehnt.
• Installiere das generierte Skill, indem du den Ordner in das Skills-Verzeichnis des Agenten kopierst, z. B. cp -r out/example-docs ~/.claude/skills/ (Claude Code) oder in ein Repository unter .agents/skills/.

Ausgabe interpretieren

• Die abschließende Zusammenfassung gibt an, wie viele Seiten geschrieben wurden und wie viele als fehlgeschlagen, blockiert (die Site antwortete mit HTTP 4xx/5xx) oder leer übersprungen wurden. Übersprungene Seiten kosten 0 Credits.
• Ein erneuter Aufruf mit weniger Seiten im selben --out-Verzeichnis hinterlässt ältere Referenzdateien; lösche den Ordner vorher für ein sauberes Ergebnis.

Kosten

Etwa 1 Credit pro Seite bei einfachem Fetch; --js kostet mehr pro Seite. Starte mit einem kleinen --max im kostenlosen Tarif und erweitere es, sobald die Ausgabe richtig aussieht.

Leitplanken

• Gib den API-Schlüssel niemals aus, protokolliere ihn nicht und committe ihn nicht.
• Respektiere die AGB und Robots-Regeln der Website; erstelle Skills nur für Dokumentationen, die der Benutzer auf diese Weise nutzen darf.
• Keine Schleifen: Ein Durchlauf pro Website reicht, bis sich die Dokumentation ändert.