Community연구 & 데이터 분석github.com

web-infra-dev/browser-automation

Midscene을 사용한 비전 기반 브라우저 자동화. DOM이나 접근성 레이블 없이 스크린샷만으로 작동하며, 헤드리스 Puppeteer에서 실행되어 사용자의 마우스나 키보드를 제어하지 않습니다. 또한 CDP 모드와 브리지 모드를 지원하여 기존 Chrome에 연결할 수 있습니다.

browser-automation란 무엇인가요?

이 스킬은 Midscene.js를 기반으로 한 비전 기반 브라우저 자동화 도구로, DOM이나 접근성 레이블 없이 스크린샷만을 사용하여 웹 페이지를 탐색하고 데이터를 추출하며 양식을 작성하고 UI 동작을 검증합니다. 헤드리스 Puppeteer 환경에서 실행되므로 사용자의 마우스나 키보드를 직접 제어하지 않아 안전하며, Chrome DevTools Protocol(CDP) 모드와 브리지 모드를 통해 사용자가 이미 실행 중인 Chrome 브라우저에 연결할 수도 있습니다. 사용자가 웹 브라우징, 데이터 스크래핑, 폼 자동 작성, UI 테스트, 스크린샷 캡처, 다단계 워크플로우 자동화, 또는 구축한 기능의 브라우저 동작 확인을 원할 때 유용합니다. 주요 플랫폼으로는 Claude Code, Cursor, Codex 등 AI 에이전트 환경에서 사용할 수 있으며, 중간 단계의 자연어 지시를 해석하여 브라우저를 제어합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/web-infra-dev/midscene-skills/tree/main/skills/browser-automation

Installed? Explore more 연구 & 데이터 분석 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

원본 보기→모든 스킬 둘러보기

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

문서

browser-automation은(는) 무엇을 하나요?

Midscene을 사용한 비전 기반 브라우저 자동화입니다. DOM이나 접근성 레이블 없이 스크린샷만으로 작동합니다. 헤드리스 Puppeteer에서 실행되며 — 사용자의 마우스나 키보드를 제어하지 않습니다. 또한 CDP 모드와 브리지 모드를 지원하여 기존 Chrome 브라우저에 연결할 수 있습니다. 다음과 같은 경우에 이 스킬을 사용하세요:

  • 웹 페이지 탐색, 이동, 열기
  • 웹 사이트에서 데이터 스크래핑, 추출, 수집
  • 양식 작성, 버튼 클릭, 웹 요소와 상호 작용
  • 프론트엔드 UI 동작 확인, 검증, 테스트, QA
  • 웹 페이지 스크린샷 캡처
  • 다단계 웹 워크플로우 자동화
  • 방금 구축한 기능을 테스트하고 브라우저에서 작동하는지 확인
  • CDP, DevTools 프로토콜 또는 원격 디버깅을 통해 Chrome에 연결
  • 사용자의 Chrome 브라우저에 연결, 내 브라우저 제어, 내 Chrome 운영

Midscene.js (https://midscenejs.com) 제공

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

web-infra-dev/android-device-automation

Vision-driven Android device automation using Midscene. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control Android devices with natural language commands via ADB. Perform taps, swipes, text input, app launches, screenshots, and more. Trigger keywords: android, phone, mobile app, tap, swipe, install app, open app on phone, android device, mobile automation, adb, launch app, mobile screen, test android app, verify mobile app, QA on phone, check the app on android, test on device, see if the app works on phone, end-to-end test on android, visual verification on mobile Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/desktop-computer-automation

Vision-driven desktop automation using Midscene. Control your local desktop (macOS, Windows, Linux) or a remote Windows desktop over RDP with natural language commands. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. ⚠️ In local mode this takes over the user's real mouse and keyboard. For web apps, prefer "Browser Automation" instead. Only use this for desktop-native apps (Electron, Qt, native macOS/Windows/Linux) that cannot run in a browser, or for driving a remote Windows host via RDP. Triggers: open app, press key, desktop, computer, click on screen, type text, screenshot desktop, launch application, switch window, desktop automation, control computer, mouse click, keyboard shortcut, screen capture, find on screen, read screen, verify window, close app, test Electron app, rdp, remote desktop, windows server, connect via rdp Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/harmonyos-device-automation

Vision-driven HarmonyOS NEXT device automation using Midscene. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control HarmonyOS devices with natural language commands via HDC. Perform taps, swipes, text input, app launches, screenshots, and more. Trigger keywords: harmony, harmonyos, 鸿蒙, hdc, huawei device, harmony app, harmony automation, harmony phone, harmony tablet, test harmony app, verify on harmonyos, QA on 鸿蒙, check the app on harmony, test on huawei device, see if the app works on harmony, end-to-end test on harmonyos, visual verification on 鸿蒙 Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/ios-device-automation

Vision-driven iOS device automation using Midscene CLI. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control iOS devices with natural language commands via WebDriverAgent. Triggers: ios, iphone, ipad, ios app, tap on iphone, swipe, mobile app ios, ios device, ios testing, iphone automation, ipad automation, ios screen, ios navigate, test ios app, verify on iphone, QA on ipad, check the app on ios, test on ios device, see if the app works on iphone, end-to-end test on ios, visual verification on ios Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/vitest-midscene-e2e

Enhances Vitest with Midscene for AI-powered UI testing across Web (Playwright), Android (ADB), and iOS (WDA). Scaffolds new projects, converts existing projects, and creates/updates/debugs/runs E2E tests using natural-language UI interactions. Triggers: write test, add test, create test, update test, fix test, debug test, run test, e2e test, midscene test, new project, convert project, init project, 写测试, 加测试, 创建测试, 更新测试, 修复测试, 调试测试, 运行测试, 新建工程, 转化工程.

관련 스킬

affaan-m/uspto-database

USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.

community

affaan-m/scholar-evaluation

Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.

community

affaan-m/literature-review

Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.

community

affaan-m/everything-claude-code

The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.

community

forrestchang/andrej-karpathy-skills

Agent skill repository discovered by 10x-chat research.

community

langgenius/backend-code-review

Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.

community
← More 연구 & 데이터 분석 skills