cloudenshine/unified-web-skill

Was macht unified-web-skill?

KI-Agent-Plattform für uneingeschränkten Webzugriff – Ringmodulare Architektur, jede Website erreichbar, strukturierte Ausgabe.

Überblick

Dieses Skill bietet KI-Agenten in verschiedenen Umgebungen (Claude Code, Cursor, Codex, etc.) einen vollständigen und uneingeschränkten Zugriff auf das Internet. Im Gegensatz zu herkömmlichen Web-Scrapern oder APIs, die auf einfache GET-Anfragen beschränkt sind, simuliert dieses Skill den kompletten Browser-Workflow und kann daher jede Website verarbeiten, einschließlich dynamischer Single-Page-Apps, Paywalls, Formulare und komplexer Navigationslogiken. Die Ausgabe erfolgt immer strukturiert als JSON, was die Weiterverarbeitung durch den Agenten signifikant erleichtert.

Funktionsweise

Die Architektur basiert auf einem Ring aus Modulen:

• Browser-Start/Stop: Startet einen Headless-Browser oder einen echten Browser (je nach Konfiguration).
• Navigationsmodul: Ruft URLs auf, folgt Redirects, verwaltet Cookies und Sitzungen.
• Extraktionsmodul: Liest DOM-Elemente aus, screenshotet Seiten oder extrahiert Text/Strukturen.
• Interaktionsmodul: Klickt auf Buttons, füllt Formulare aus, scrollt oder wartet auf Ladeereignisse.
• Ausgabemodul: Formatiert die Ergebnisse als JSON, inklusive Metadaten (URL, Status, Timestamp).

Diese Module werden in einer Schleife ausgeführt, bis das gewünschte Ziel erreicht ist oder eine maximale Anzahl von Schritten überschritten wurde.

Unterstützte Plattformen

• Claude Code (via Anthropic API)
• Cursor (via OpenAI-kompatible API)
• Codex (via GitHub Copilot)
• Weitere Agenten-Plattformen mit API-Unterstützung

Installation

# Installation über npm (sofern als Package veröffentlicht)
npm install cloudenshine/unified-web-skill

# Oder als CLI-Tool weltweit installieren
npx cloudenshine/unified-web-skill

Verwendung

Einfacher Aufruf

einheitliches-web-skill --url "https://beispiel.de" --output strukturergebnis.json

Als API (JavaScript)

import { WebSkill } from 'cloudenshine/unified-web-skill';

const skill = new WebSkill();
const result = await skill.execute({
  url: 'https://beispiel.de',
  action: 'scrape',
  structure: {
    titel: 'h1',
    preis: '.preis',
    beschreibung: 'meta[name=description]@content'
  }
});

console.log(result);
// Ausgabe: { titel: "...", preis: "...", beschreibung: "..." }

Konfiguration

Umgebungsvariablen:

• SKILL_BROWSER_HEADLESS: true (Standard) oder false
• SKILL_TIMEOUT: Maximale Wartezeit in ms (Standard: 30000)
• SKILL_MAX_STEPS: Maximale Anzahl von Navigationsschritten (Standard: 10)

Beispiele

Dynamische Tabelle auslesen:

einheitliches-web-skill --url "https://beispiel.de/tabelle" --warten ".tabellen-laden" --extrahieren "{\"zeilen\": \"table tr\", \"spalten\": \"td\"}"

Formular ausfüllen und einreichen:

einheitliches-web-skill --url "https://login.beispiel.de" --ausfüllen "{\"#username\": \"benutzer\", \"#password\": \"passwort\"}" --klicken "#login-button" --extrahieren ".profil-name"

Lizenz

MIT – siehe Datei LICENSE für Details.