web-infra-dev/automatisation-navigateur

Automatisation de navigateur pilotée par vision avec Midscene. Fonctionne à partir de captures d'écran — aucun DOM ni étiquette d'accessibilité nécessaire. S'exécute en mode headless Puppeteer — ne prend PAS le contrôle de la souris ou du clavier de l'utilisateur. Prend également en charge le mode CDP et le mode Bridge pour se connecter à un Chrome existant.

Qu'est-ce que automatisation-navigateur ?

Cette compétence permet d'automatiser les interactions avec le navigateur en utilisant Midscene.js, un framework basé sur la vision qui analyse les captures d'écran pour comprendre et manipuler les pages web. Contrairement aux approches traditionnelles qui nécessitent l'inspection du DOM ou des labels d'accessibilité, Midscene interprète visuellement le contenu, ce qui le rend particulièrement robuste face aux changements de structure HTML. La compétence s'exécute en mode headless via Puppeteer (sans interférer avec le navigateur de l'utilisateur) mais supporte également le mode CDP (Chrome DevTools Protocol) et le mode Bridge pour se connecter à une instance Chrome existante. Elle est idéale pour la navigation automatisée, l'extraction de données, le remplissage de formulaires, les tests frontaux, les captures d'écran, et la validation de workflows multi-étapes. Compatible avec les plateformes d'agents IA comme Claude Code, Cursor, ou Codex, cette compétence offre une alternative puissante et flexible aux outils de scraping et de test traditionnels.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/web-infra-dev/midscene-skills/tree/main/skills/browser-automation

Installed? Explore more Recherche et analyse de données skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait automatisation-navigateur ?

Automatisation de navigateur pilotée par vision avec Midscene. Fonctionne à partir de captures d'écran — aucun DOM ni étiquette d'accessibilité nécessaire. S'exécute en mode headless Puppeteer — ne prend PAS le contrôle de la souris ou du clavier de l'utilisateur. Prend également en charge le mode CDP et le mode Bridge pour se connecter à un Chrome existant. Utilisez cette compétence lorsque l'utilisateur souhaite :

  • Naviguer, parcourir ou ouvrir des pages web
  • Récupérer, extraire ou collecter des données de sites web
  • Remplir des formulaires, cliquer sur des boutons ou interagir avec des éléments web
  • Vérifier, valider, tester ou effectuer du QA sur le comportement de l'interface utilisateur frontend
  • Prendre des captures d'écran de pages web
  • Automatiser des workflows web multi-étapes
  • Tester ce qui vient d'être construit, voir si cela fonctionne dans le navigateur
  • Se connecter à Chrome via CDP, le protocole DevTools ou le débogage à distance
  • Se connecter au navigateur Chrome de l'utilisateur, contrôler mon navigateur, opérer mon Chrome Propulsé par Midscene.js (https://midscenejs.com)

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

web-infra-dev/android-device-automation

Vision-driven Android device automation using Midscene. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control Android devices with natural language commands via ADB. Perform taps, swipes, text input, app launches, screenshots, and more. Trigger keywords: android, phone, mobile app, tap, swipe, install app, open app on phone, android device, mobile automation, adb, launch app, mobile screen, test android app, verify mobile app, QA on phone, check the app on android, test on device, see if the app works on phone, end-to-end test on android, visual verification on mobile Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/desktop-computer-automation

Vision-driven desktop automation using Midscene. Control your local desktop (macOS, Windows, Linux) or a remote Windows desktop over RDP with natural language commands. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. ⚠️ In local mode this takes over the user's real mouse and keyboard. For web apps, prefer "Browser Automation" instead. Only use this for desktop-native apps (Electron, Qt, native macOS/Windows/Linux) that cannot run in a browser, or for driving a remote Windows host via RDP. Triggers: open app, press key, desktop, computer, click on screen, type text, screenshot desktop, launch application, switch window, desktop automation, control computer, mouse click, keyboard shortcut, screen capture, find on screen, read screen, verify window, close app, test Electron app, rdp, remote desktop, windows server, connect via rdp Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/harmonyos-device-automation

Vision-driven HarmonyOS NEXT device automation using Midscene. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control HarmonyOS devices with natural language commands via HDC. Perform taps, swipes, text input, app launches, screenshots, and more. Trigger keywords: harmony, harmonyos, 鸿蒙, hdc, huawei device, harmony app, harmony automation, harmony phone, harmony tablet, test harmony app, verify on harmonyos, QA on 鸿蒙, check the app on harmony, test on huawei device, see if the app works on harmony, end-to-end test on harmonyos, visual verification on 鸿蒙 Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/ios-device-automation

Vision-driven iOS device automation using Midscene CLI. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control iOS devices with natural language commands via WebDriverAgent. Triggers: ios, iphone, ipad, ios app, tap on iphone, swipe, mobile app ios, ios device, ios testing, iphone automation, ipad automation, ios screen, ios navigate, test ios app, verify on iphone, QA on ipad, check the app on ios, test on ios device, see if the app works on iphone, end-to-end test on ios, visual verification on ios Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/vitest-midscene-e2e

Enhances Vitest with Midscene for AI-powered UI testing across Web (Playwright), Android (ADB), and iOS (WDA). Scaffolds new projects, converts existing projects, and creates/updates/debugs/runs E2E tests using natural-language UI interactions. Triggers: write test, add test, create test, update test, fix test, debug test, run test, e2e test, midscene test, new project, convert project, init project, 写测试, 加测试, 创建测试, 更新测试, 修复测试, 调试测试, 运行测试, 新建工程, 转化工程.

Skills associés