Kminer2053/planned-web-crawling-skill

Geplantes Web-Crawling

Nach Erhalt einer Benutzeranfrage nicht sofort in die Massensammlung einsteigen, sondern zuerst die Quellenstruktur analysieren, Beweise speichern und den Plan eingrenzen. Dieser Skill bietet für untersuchendes Crawling eine urllib-basierte Sitzung, HTML/JSON/PDF-Probing, Linkverfolgung und einen einfachen Paginierungs-Executor.

Arbeitsablauf

1. Das Rechercheziel in 1–3 Sätzen formulieren.
2. Die offizielle Start-URL oder die Datei finden.
3. Mit scripts/crawlkit.py probe die Struktur der ersten Antwort überprüfen.
4. Basierend auf den Probe-Ergebnissen den Sammlungspfad festlegen.
5. Bei wiederholten Anfragen eine Plan-Datei für scripts/run_collection_plan.py erstellen.
6. Ergebnisse und die Pfade der Originalschnappschüsse gemeinsam melden.

Schnellstart

Erste Strukturüberprüfung:

python3 adaptive-web-research/scripts/crawlkit.py probe "https://example.com/list" --output-dir /tmp/example-probe --save-body

Lokale HTML-Datei analysieren:

python3 adaptive-web-research/scripts/crawlkit.py probe "./sample.html"

Plan ausführen:

python3 adaptive-web-research/scripts/run_collection_plan.py ./plan.json --output-dir /tmp/example-run

Entscheidungskriterien

• Bei HTML zuerst Titel, Links, Formulare, Tabellen, JSON-LD und Paginierungskandidaten prüfen.
• Bei JSON den Top-Level-Typ und die Listen-Schlüssel analysieren und Regeln für wiederholte Anfragen festlegen.
• Bei PDF den Beispieltext und die Seitenanzahl prüfen, ggf. einen nachfolgenden Parser anhängen.
• Bei Cookies oder POST-Anforderungen zuerst die request-Stufe von run_collection_plan.py verwenden.
• Bei starker Abhängigkeit von JS-Rendering zuerst nach alternativen offiziellen Quellen oder versteckten JSON-Endpunkten suchen, statt Umgehungen zu versuchen.

Skripte

• scripts/crawlkit.py
  • probe: Zusammenfassung der Antwortstruktur
  • fetch: Originalschnappschuss speichern
• scripts/run_collection_plan.py
  • Führt die Stufen request, paginate und follow_links aus

Referenzdokumente

• Detaillierter Betriebsablauf: references/collection-workflow.md
• Beispiel für eine Plan-JSON-Datei: references/plan-schema.md

Arbeitsprinzipien

• Keine CSS-Selektoren oder Seitenstruktur ohne vorherigen Probe annehmen.
• Keine Zusammenfassung hinterlassen, ohne die Originalantwort gespeichert zu haben.
• Seiten-spezifische Regeln nicht in den grundlegenden Skill aufnehmen, sondern bei Bedarf in kleinen Hilfsskripten auslagern.
• Bei Sammlungsergebnissen die verwendete URL, die Anfragemethode und den Speicherpfad angeben.