Was macht use-my-browser?
Nutze diese Fähigkeit, wenn eine Aufgabe vom Live-Browser-Sitz des Benutzers oder dem sichtbaren gerenderten Zustand abhängt, anstatt von statischen Abrufen – insbesondere für Browser-Debugging, DevTools-Auswahlen, eingeloggte Dashboards, lokale Host-Apps, Formulare, Uploads/Downloads, Media-Inspektion, DOM/iframe/Shadow-DOM-Inspektion oder Browser-Fehler wie Soft-404, Auth-Walls, Anti-Bot-Prüfungen oder Ratenbegrenzungen.
Funktionen
- Live-Browser-Session: Greife direkt auf den aktuellen Browser-Tab des Benutzers zu, um gerenderte Inhalte zu sehen, statt statische HTML-Seiten abzurufen.
- DevTools-Integration: Unterstützt die Auswahl von Elementen und das Inspektieren von Netzwerkanfragen direkt aus den Entwicklungswerkzeugen.
- Authentifizierte Sitzungen: Nutze eingeloggte Dashboards, CMS-Workflows oder andere seitenbasierte Authentifizierungszustände.
- Lokale Entwicklung: Interagiere mit
localhost-Apps, die nur im Browser des Benutzers verfügbar sind. - Formular- und Medieninteraktion: Sende Formulare, lade Dateien hoch, starte Downloads und inspiziere Mediendaten (Bilder, Videos, Audio).
- DOM-Inspektion: Analysiere DOM-Strukturen, iframes und Shadow-DOM-Inhalte.
- Fehlerbehandlung: Erkennung und Behebung von Soft-404-Seiten, Auth-Walls, Anti-Bot-Checks und Ratenbegrenzungsfehlern.
Unterstützte Plattformen
Diese Fähigkeit ist für AI-Agenten wie Claude Code, Cursor, Codex und andere konzipiert, die eine direkte Interaktion mit dem Browser des Benutzers benötigen.
Verwendung
- Initialisierung: Der Agent stellt eine Verbindung zum Live-Browser des Benutzers über eine sichere WebSocket-Verbindung her.
- Befehle: Sende Befehle wie
navigate,click,type,select,upload,downloadundinspect. - Rückmeldung: Erhalte gerenderte HTML-Schnappschüsse, Screenshots oder Daten aus DevTools.
Beispiele
# Navigation zu einer Seite
navigate https://example.com/dashboard
# Auswahl eines Elements
select #submit-button
# Formular ausfüllen
type #email-field "[email protected]"
# Screenshot erstellen
screenshot --full-page
Fehlerbehandlung
- Soft-404: Wenn eine Seite eine benutzerdefinierte Fehlerseite anzeigt, aber HTTP 200 zurückgibt, wird versucht, die eigentliche Seite zu laden.
- Auth-Walls: Bei Authentifizierungsproblemen wird der Login-Vorgang ausgelöst oder die Sitzung erneuert.
- Anti-Bot-Prüfungen: Bei CAPTCHA- oder Bot-Erkennung wird der Benutzer um Eingabe gebeten.
- Ratenbegrenzung: Bei 429-Fehlern wird eine Wartezeit eingelegt und der Vorgang wiederholt.
Sicherheit
- Der Agent hat nur Zugriff auf den vom Benutzer explizit freigegebenen Tab.
- Kein Zugriff auf Passwörter oder sensible Daten ohne Benutzeraktion.
- Sitzungen werden nach Beendigung der Aufgabe automatisch geschlossen.
Fehlerbehandlung (fortgesetzt)
Wenn ein Fehler auftritt, informiert der Agent den Benutzer und schlägt bei Bedarf manuelle Eingriffe vor.
Lizenz
MIT