Communitygithub.com

automation-navigateur-bureau

Automatise les tâches dans les navigateurs web (via Playwright/agent-browser) et les applications de bureau Windows (via OpenReverse) à l'aide de commandes structurées et de l'IA.

Qu'est-ce que automation-navigateur-bureau ?

Ce skill regroupe deux grands pôles d'automatisation assistée par agent IA : l'automatisation de navigateur avec Playwright/agent-browser et l'automatisation d'applications de bureau Windows avec OpenReverse. Pour le navigateur, il fournit un workflow clair (ouvrir → snapshot → interagir → fermer) avec des commandes comme `agent-browser open`, `click`, `fill` et `snapshot`, en s'appuyant sur des références d'éléments (@e1, @e2…). Pour le bureau, il propose OpenReverse en mode UIA (UI Automation structurée) ou CUA (reconnaissance visuelle), avec en plus une couche d'observation réseau intégrée via mitmproxy. Le skill gère également l'auto-installation des dépendances légères (Playwright, agent-browser, Node.js) et guide l'utilisateur pour l'installation manuelle d'OpenReverse et de mitmproxy. Il est utilisé principalement dans des contextes de reverse engineering, de test d'intrusion et d'automatisation de flux de travail complexes, en s'intégrant avec d'autres modules comme `js-reverse`, `jshookmcp` ou `ida-reverse`.

Compatible avec✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/zhaoxuya520/reverse-skill/tree/main/skills/browser-automation
Voir l'original→Voir toutes les compétences

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

Documentation

Automation (navigateur & bureau)

ACTION REQUISE (à exécuter immédiatement après lecture)

  1. MAINTENANT : Confirmer si la tâche actuelle correspond au périmètre de ce skill.
  2. MAINTENANT : Lire ../tool-index.md pour vérifier la disponibilité et le chemin réel des outils.
  3. SUIVANT : Si un outil manque, appeler le bootstrap – ne pas deviner le chemin.
  4. AGIR : Passer à la première étape du workflow et exécuter – ne pas rester en attente de confirmation.

Périmètre d'application

Utiliser ce skill lorsque la tâche correspond à l'un des scénarios suivants :

Scénarios navigateur (Playwright / agent-browser)

  • Ouvrir une page web et interagir avec les éléments (clic, formulaire, soumission)
  • Extraire le contenu d'une page ou réaliser une capture d'écran
  • Automatiser un processus de connexion
  • Interagir avec des pages web lors d'un test d'intrusion (soumettre un payload, déclencher une XSS)
  • Traiter automatiquement des pages avec CAPTCHA
  • Soumettre des formulaires en lot

Scénarios application de bureau (OpenReverse)

  • Manipuler des applications Windows (IDA Pro, x64dbg, Wireshark, etc.)
  • Interaction visuelle (mode CUA)
  • Interaction structurée via UI Automation (mode UIA)
  • Observer le trafic réseau de l'application (mitmproxy intégré)
  • Automatiser l'interface graphique d'outils de reverse engineering
  • Tester en boîte noire des logiciels bureau

Répartition avec les autres outils

ScénarioOutil à utiliser
Manipuler une page web (dans le navigateur)Playwright / agent-browser
Manipuler une application de bureau (GUI Windows)OpenReverse
Analyse de paquets, capture de requêtes HTTPanything-analyzer ou le réseau lane d'OpenReverse
Débogage JS, Hook, débogage CDPjshookmcp
Localiser un algorithme de signature, reconstituer un environnementjs-reverse

Règle simple :

  • La cible est une page web → Playwright
  • La cible est une application de bureau Windows → OpenReverse
  • Les deux sont nécessaires → combinaison

Partie 1 : Automatisation navigateur (Playwright / agent-browser)

Workflow principal

# 1. Ouvrir la page
agent-browser open <url>

# 2. Obtenir les éléments interactifs (retourne les références @e1, @e2...)
agent-browser snapshot -i

# 3. Interagir à l'aide des références
agent-browser click @e1
agent-browser fill @e2 "text"

# 4. Fermer après utilisation
agent-browser close

Référence des commandes

# Navigation
agent-browser open <url>
agent-browser close

# Snapshots de page
agent-browser snapshot        # Arbre complet d'accessibilité
agent-browser snapshot -i     # Éléments interactifs uniquement (recommandé)

# Interactions
agent-browser click @e1
agent-browser fill @e2 "text"
agent-browser type @e2 "text"
agent-browser press Enter
agent-browser scroll down 500

# Récupération d'informations
agent-browser get text @e1
agent-browser get title
agent-browser get url

# Attentes
agent-browser wait @e1
agent-browser wait 2000
agent-browser wait --load networkidle

Remarques importantes

  • Toujours exécuter agent-browser close pour éviter les fuites de processus.
  • Faire un snapshot avant d'interagir, ne pas deviner les références d'éléments.
  • Après la soumission d'un formulaire, attendre avec wait --load networkidle pour la stabilité de la page.

Partie 2 : Automatisation d'applications de bureau (OpenReverse)

Présentation

OpenReverse est un framework d'interaction bureau et de collecte de preuves destiné aux agents IA, prenant en charge :

  • Mode UIA : Windows UI Automation, manipulation structurée des contrôles de bureau.
  • Mode CUA : Interaction visuelle (Computer Use Agent), adaptée aux interfaces complexes.
  • Observation réseau : Proxy mitmproxy intégré + capture locale.

Choix du mode d'interaction

ModeScénario appropriéTechnologie sous-jacente
UIAL'application cible a des contrôles Windows standard (boutons, champs de texte, listes)API Windows UI Automation
CUAL'interface de l'application cible est complexe ou utilise des contrôles non standard (vue désassemblage d'IDA, interface rendue de manière personnalisée)Reconnaissance visuelle + clavier/souris

Modes d'observation réseau

ModeScénario approprié
Proxy LaneL'application cible peut être configurée pour utiliser un proxy (recommandé)
Local LaneL'application cible ne peut pas utiliser de proxy, nécessite une capture locale

Installation et configuration

# 1. Cloner le projet
git clone https://github.com/zhexulong/openreverse.git
cd openreverse

# 2. Installer les dépendances
npm install

# 3. Intégrer l'agent hôte (Claude Code / Codex / Zed)
npm run init:agents -- --target=all /chemin/vers/projet

# 4. Installer le runtime CUA (si nécessaire pour le mode visuel)
npm run install:cua-runtime
npm run doctor:cua-runtime

# 5. Installer les dépendances d'observation réseau (si nécessaire pour la capture)
npm run install:mitmproxy
npm run doctor:network

Combinaisons courantes

BesoinConfiguration
Uniquement manipuler une application de bureauUIA ou CUA, sans lane réseau
Manipuler une application de bureau + capturer le traficUIA/CUA + proxy lane
Manipuler une application de bureau + capture localeUIA/CUA + local lane

Exemples de scénarios de reverse engineering

Scénario : Automatiser IDA Pro pour une analyse par lots

1. Ouvrir IDA Pro avec OpenReverse en mode CUA
2. Charger automatiquement le binaire cible
3. Attendre la fin de l'analyse
4. Exporter la liste des fonctions via l'interface
5. Observer simultanément le comportement réseau d'IDA (ex. requêtes Lumina) avec network lane

Scénario : Automatiser le débogage avec x64dbg

1. Lancer x64dbg avec OpenReverse en mode UIA
2. Charger le programme cible
3. Définir des points d'arrêt
4. Exécuter et observer les changements de registres/mémoire
5. Prendre une capture d'écran pour preuve

Bootstrap à la demande (On-Demand Bootstrap)

Limites de l'automatisation des capacités

OutilInstallation automatiqueMéthode d'installationDescription
Playwright✓npm + npx playwright installMoteur d'automatisation de navigateur
agent-browser CLI✓npm install -g agent-browserCLI d'opération du navigateur
Node.js✓wingetDépendance préalable
OpenReverse✗Clone manuel + npm installPhase expérimentale, dépendances lourdes
mitmproxy✗Installation manuelleDépendance d'observation réseau d'OpenReverse

Déclenchement du bootstrap

  • Si Playwright manque pour une opération navigateur → bootstrap automatique.
  • Si OpenReverse est nécessaire pour une opération bureau → guider l'utilisateur vers une installation manuelle (fournir les étapes complètes).

Guide d'installation manuelle d'OpenReverse

Si l'IA détecte qu'OpenReverse est nécessaire pour une automatisation de bureau mais n'est pas installé :

⚠️ **OpenReverse est requis pour l'automatisation d'applications de bureau**

**Étapes d'installation :**
1. `git clone https://github.com/zhexulong/openreverse.git`
2. `cd openreverse && npm install`
3. `npm run init:agents -- --target=all <chemin de votre projet>`
4. Pour le mode visuel : `npm run install:cua-runtime`
5. Pour l'observation réseau : `npm run install:mitmproxy`

**Vérification :** `npm run doctor:cua-runtime` et `npm run doctor:network`

Contexte de routage

Entrée amont : skills/SKILL.md (contrôle principal), routing.md Scénarios d'application : Toute tâche nécessitant l'automatisation d'un navigateur ou d'une application de bureau Sortie aval :

  • Les requêtes capturées doivent être analysées → anything-analyzer ou js-reverse
  • Débogage/Hook JS nécessaire → jshookmcp
  • Algorithme de signature à reconstituer → js-reverse
  • L'application de bureau est un outil de reverse engineering → ida-reverse/

Modules associés de même niveau : js-reverse (peut nécessiter une analyse JS après manipulation navigateur), ida-reverse (OpenReverse peut automatiser l'interface graphique d'IDA)

Auto-vérification avant déclaration de fin (DOIT passer avant de prétendre terminer)

  • Ai-je exécuté chaque étape du workflow (pas seulement lu) ?
  • Ai-je utilisé le véritable chemin des outils basé sur tool-index ?
  • Ai-je produit des preuves reproductibles (commandes/scripts/captures d'écran/rapports) ?
  • Ai-je terminé et mis à jour les éléments de la checklist exigée par RULES ?

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

api-security

Use for authorized security assessment of REST, GraphQL, WebSocket, or SOAP APIs, including discovery, authentication, authorization, rate-limit, and CI/CD testing.

apk-reverse

在 CLI 环境下做 Android APK 逆向时使用。适用于 APK 解包、Java 反编译、smali 修改、重打包、Frida 动态 Hook，以及按需切换到 so/native 分析。优先使用本机已安装的 jadx、apktool、frida、adb、ida-reverse、radare2。

attack-chain

Use for authorized multi-stage attack-path planning and orchestration when a task spans reconnaissance, initial access, privilege escalation, lateral movement, or impact assessment. Route single-stage tasks directly to their specialist skill.

binary-diff

|

binary-ninja-reverse

Use for authorized binary analysis in Binary Ninja, including HLIL/MLIL/LLIL inspection, strings/imports/exports, cross-references, types, patch review, Python API automation, and optional Binary Ninja MCP or localhost HTTP integration.

browser-extension-reverse

Use for authorized reverse engineering of browser extensions (Chrome/Firefox) including manifest analysis, background workers, and extension-based credential or traffic logic recovery.

case-review

Reviews a reverse-skill case package for scope readiness, Evidence to Finding to Path traceability, work item coverage, timeline references, and optional artifact hash integrity before report handoff.

cloud-k8s

Use for authorized cloud, container, and Kubernetes security assessment including metadata SSRF, IAM misconfig, container escape paths, and cluster RBAC review.

code-audit

Use for authorized source-code security review and SAST workflows including Semgrep, CodeQL patterns, dangerous API hunting, and fix verification.

ctf-sandbox

Thin PRIMARY for CTF / AWD / 靶场 multi-type orchestration. Hands off to the sidecar CTF-Sandbox-Orchestrator. Use when the user says CTF, AWD, 靶场, or 比赛题 and no more specific pwn/APK/IDA route already won.

database-security

Use for authorized database security assessment covering PostgreSQL/MySQL/MSSQL/Mongo/Redis exposure, authz, UDF/command paths, and misconfiguration review.

diagram-generator

generate, refine, validate, and render diagrams from natural language, notes, code snippets, schemas, tables, or existing diagram source. use for flowcharts, swimlanes, sequence diagrams, state diagrams, er diagrams, class diagrams, architecture/c4-style diagrams, dependency graphs, gantt charts, mind maps, user journeys, sankey-style flows, org charts, network graphs, and other visual models. supports mermaid by default, graphviz dot for complex graph layout, plantuml for uml-heavy engineering diagrams, and svg output when direct markup is more reliable.

digital-forensics

Use for authorized digital forensics including memory dumps, disk timelines, PCAP investigation, artifact triage, and IR evidence preservation.

docs-generator

|

dotnet-reverse

.NET / C# 二进制逆向。当目标是 .NET assembly（PE 头含 CLR、.exe/.dll 托管程序）、C# 编译产物（含 NativeAOT）、红队 Sharp* 工具（Rubeus / SharpHound / SharpHound 等）、.NET 混淆程序（ConfuserEx / SmartAssembly / Babel / Eazfuscator）、.NET loader / info-stealer / 套壳 malware 时使用。优先用 dnSpyEx + de4dot，需要 AI 直接操作时联动 dnSpy MCP。不用于纯 native 二进制（走 reverse-engineering / ida-reverse）。

edr-bypass-re

|

email-security

Use for authorized email security review including phishing analysis, header authentication (SPF/DKIM/DMARC), BEC patterns, and mailbox token abuse research.

firmware-pentest

|

ghidra-reverse

Use for free/open reverse engineering with Ghidra (headless or GUI), including decompile, cross-refs, and optional Ghidra MCP workflows when IDA is unavailable.

go-rust-reverse

Use for reverse engineering stripped Go and Rust binaries including runtime recognition, pclntab/moduel data recovery, panic strings, and idiomatic decompilation recovery.

Skills associés

steipete/video-frames

Extract frames or short clips from videos using ffmpeg.

community

steipete/summarize

Summarize or transcribe URLs, YouTube/videos, podcasts, articles, transcripts, PDFs, and local files.

community

openclaw/openclaw

Use when testing, fixing, or extending the OpenClaw Control UI GUI with Vitest + Playwright end-to-end checks, mocked Gateway WebSocket flows, mocked dashboard runs, screenshots/videos, or agent-verifiable browser proof.

community

obra/superpowers

Obra superpowers agent skills.

community

affaan-m/ECC

See, Understand, Act on video and audio. See- ingest from local files, URLs, RTSP/live feeds, or live record desktop; return realtime context and playable stream links. Understand- extract frames, build visual/semantic/temporal indexes, and search moments with timestamps and auto-clips. Act- transcode and normalize (codec, fps, resolution, aspect ratio), perform timeline edits (subtitles, text/image overlays, branding, audio overlays, dubbing, translation), generate media assets (image, audio...

community

affaan-m/everything-claude-code

End-to-end marketing campaign planning and execution. Covers audience research, positioning, campaign angle definition, landing page copy, email sequences, social posts, ad copy, short-form video scripts, and content calendars. Use as the orchestration layer for multi-channel product launches. Use when planning or executing a multi-channel product launch, or producing landing page, email, social, or ad copy.

community