Community생산성 & 협업github.com

web-infra-dev/데스크톱-컴퓨터-자동화

Midscene을 활용한 시각 기반 데스크톱 자동화. 자연어 명령어로 로컬 데스크톱(macOS, Windows, Linux) 또는 RDP를 통한 원격 Windows 데스크톱을 제어합니다. 스크린샷만으로 동작하며, DOM이나 접근성 레이블이 필요 없습니다. 기술 스택에 관계없이 화면의 모든 가시 요소와 상호작용할 수 있습니다.

데스크톱-컴퓨터-자동화란 무엇인가요?

이 스킬은 Midscene.js를 기반으로 한 시각 기반 데스크톱 자동화 도구입니다. 사용자가 자연어 명령어를 통해 로컬 데스크톱(macOS, Windows, Linux) 또는 RDP를 통한 원격 Windows 데스크톱을 제어할 수 있게 해줍니다. 스크린샷 분석을 통해 화면 요소를 인식하므로, DOM이나 접근성 레이블에 의존하지 않고 Electron, Qt, 네이티브 앱 등 모든 기술 스택의 데스크톱 애플리케이션과 상호작용할 수 있습니다. 주요 트리거로는 앱 열기, 키 누르기, 화면 클릭, 텍스트 입력, 스크린샷 캡처, 창 전환 등이 있습니다. ⚠️ 로컬 모드에서는 사용자의 실제 마우스와 키보드를 제어하므로, 웹 앱의 경우 '브라우저 자동화' 스킬을 우선 사용하는 것이 좋습니다. 이 스킬은 브라우저에서 실행할 수 없는 데스크톱 네이티브 앱이나 RDP를 통한 원격 Windows 호스트 제어에 적합합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/web-infra-dev/midscene-skills/tree/main/skills/desktop-computer-automation

Installed? Explore more 생산성 & 협업 skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

데스크톱-컴퓨터-자동화은(는) 무엇을 하나요?

Midscene을 활용한 시각 기반 데스크톱 자동화. 자연어 명령어로 로컬 데스크톱(macOS, Windows, Linux) 또는 RDP를 통한 원격 Windows 데스크톱을 제어합니다. 스크린샷만으로 동작하며, DOM이나 접근성 레이블이 필요 없습니다. 기술 스택에 관계없이 화면의 모든 가시 요소와 상호작용할 수 있습니다. ⚠️ 로컬 모드에서는 사용자의 실제 마우스와 키보드를 제어합니다. 웹 앱의 경우 '브라우저 자동화'를 대신 사용하세요. 이 스킬은 브라우저에서 실행할 수 없는 데스크톱 네이티브 앱(Electron, Qt, 네이티브 macOS/Windows/Linux)이나 RDP를 통한 원격 Windows 호스트 제어에만 사용하세요. 트리거: 앱 열기, 키 누르기, 데스크톱, 컴퓨터, 화면 클릭, 텍스트 입력, 데스크톱 스크린샷, 애플리케이션 실행, 창 전환, 데스크톱 자동화, 컴퓨터 제어, 마우스 클릭, 키보드 단축키, 화면 캡처, 화면에서 찾기, 화면 읽기, 창 확인, 앱 닫기, Electron 앱 테스트, RDP, 원격 데스크톱, Windows 서버, RDP로 연결 Midscene.js(https://midscenejs.com) 기반

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

web-infra-dev/android-device-automation

Vision-driven Android device automation using Midscene. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control Android devices with natural language commands via ADB. Perform taps, swipes, text input, app launches, screenshots, and more. Trigger keywords: android, phone, mobile app, tap, swipe, install app, open app on phone, android device, mobile automation, adb, launch app, mobile screen, test android app, verify mobile app, QA on phone, check the app on android, test on device, see if the app works on phone, end-to-end test on android, visual verification on mobile Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/browser-automation

Vision-driven browser automation using Midscene. Operates from screenshots — no DOM or accessibility labels needed. Runs in headless Puppeteer — does NOT take over the user's mouse or keyboard. Also supports CDP mode and Bridge mode to connect to an existing Chrome. Use this skill when the user wants to: - Browse, navigate, or open web pages - Scrape, extract, or collect data from websites - Fill out forms, click buttons, or interact with web elements - Verify, validate, test, or QA frontend UI behavior - Take screenshots of web pages - Automate multi-step web workflows - Test what was just built, see if it works in browser - Connect to Chrome via CDP, DevTools Protocol, or remote debugging - Connect to user's Chrome browser, control my browser, operate my Chrome Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/harmonyos-device-automation

Vision-driven HarmonyOS NEXT device automation using Midscene. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control HarmonyOS devices with natural language commands via HDC. Perform taps, swipes, text input, app launches, screenshots, and more. Trigger keywords: harmony, harmonyos, 鸿蒙, hdc, huawei device, harmony app, harmony automation, harmony phone, harmony tablet, test harmony app, verify on harmonyos, QA on 鸿蒙, check the app on harmony, test on huawei device, see if the app works on harmony, end-to-end test on harmonyos, visual verification on 鸿蒙 Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/ios-device-automation

Vision-driven iOS device automation using Midscene CLI. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control iOS devices with natural language commands via WebDriverAgent. Triggers: ios, iphone, ipad, ios app, tap on iphone, swipe, mobile app ios, ios device, ios testing, iphone automation, ipad automation, ios screen, ios navigate, test ios app, verify on iphone, QA on ipad, check the app on ios, test on ios device, see if the app works on iphone, end-to-end test on ios, visual verification on ios Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/vitest-midscene-e2e

Enhances Vitest with Midscene for AI-powered UI testing across Web (Playwright), Android (ADB), and iOS (WDA). Scaffolds new projects, converts existing projects, and creates/updates/debugs/runs E2E tests using natural-language UI interactions. Triggers: write test, add test, create test, update test, fix test, debug test, run test, e2e test, midscene test, new project, convert project, init project, 写测试, 加测试, 创建测试, 更新测试, 修复测试, 调试测试, 运行测试, 新建工程, 转化工程.

관련 스킬