web-infra-dev/desktop-computer-automation

ビジョン駆動型デスクトップ自動化をMidsceneで実現。自然言語でローカルデスクトップ(macOS、Windows、Linux)やRDP経由のリモートWindowsデスクトップを操作できます。スクリーンショットのみに基づいて動作し、DOMやアクセシビリティラベルは不要です。技術スタックに関わらず画面上のすべての可視要素と対話可能です。

desktop-computer-automation とは?

このスキルはMidscene.jsを基盤としたビジョン駆動型デスクトップ自動化ツールです。ユーザーは自然言語でローカルマシン(macOS、Windows、Linux)やRDP経由のリモートWindowsデスクトップを操作できます。スクリーンショットの解析のみで動作するため、DOMやアクセシビリティラベルに依存せず、Electron、Qt、ネイティブアプリなどあらゆる技術スタックのアプリケーションと対話可能です。⚠️ ローカルモードでは実際のマウスとキーボードを乗っ取るため、ブラウザベースのアプリには「ブラウザ自動化」スキルを推奨します。主にブラウザで動作しないデスクトップネイティブアプリ(Electron、Qt、ネイティブmacOS/Windows/Linux)やRDP経由のリモートWindowsホストの制御に使用します。トリガーは「アプリを開く」、「キーを押す」、「クリック」、「テキスト入力」、「スクリーンショット」、「ウィンドウ切替」など多岐にわたります。

対応~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/web-infra-dev/midscene-skills/tree/main/skills/desktop-computer-automation

Installed? Explore more 生産性&コラボレーション skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

desktop-computer-automation は何をしますか?

ビジョン駆動型デスクトップ自動化をMidsceneで実現。自然言語コマンドでローカルデスクトップ(macOS、Windows、Linux)またはRDP経由のリモートWindowsデスクトップを制御します。スクリーンショットのみに基づいて動作するため、DOMやアクセシビリティラベルは不要です。技術スタックに関わらず、画面上のすべての可視要素と対話できます。⚠️ ローカルモードではユーザーの実際のマウスとキーボードを乗っ取ります。Webアプリの場合は「ブラウザ自動化」を優先してください。このスキルは、ブラウザで動作しないデスクトップネイティブアプリ(Electron、Qt、ネイティブmacOS/Windows/Linux)や、RDP経由でリモートWindowsホストを駆動する場合にのみ使用してください。トリガー: アプリを開く、キーを押す、デスクトップ、コンピュータ、画面をクリック、テキストを入力、デスクトップをスクリーンショット、アプリケーションを起動、ウィンドウを切り替え、デスクトップ自動化、コンピュータを制御、マウスクリック、キーボードショートカット、画面キャプチャ、画面上で検索、画面を読み取り、ウィンドウを確認、アプリを閉じる、Electronアプリをテスト、RDP、リモートデスクトップ、Windowsサーバー、RDPで接続。Midscene.js (https://midscenejs.com) を搭載。

Individual skills in this repo

This repo contains 5 individual skills — each has its own dedicated page.

web-infra-dev/android-device-automation

Vision-driven Android device automation using Midscene. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control Android devices with natural language commands via ADB. Perform taps, swipes, text input, app launches, screenshots, and more. Trigger keywords: android, phone, mobile app, tap, swipe, install app, open app on phone, android device, mobile automation, adb, launch app, mobile screen, test android app, verify mobile app, QA on phone, check the app on android, test on device, see if the app works on phone, end-to-end test on android, visual verification on mobile Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/browser-automation

Vision-driven browser automation using Midscene. Operates from screenshots — no DOM or accessibility labels needed. Runs in headless Puppeteer — does NOT take over the user's mouse or keyboard. Also supports CDP mode and Bridge mode to connect to an existing Chrome. Use this skill when the user wants to: - Browse, navigate, or open web pages - Scrape, extract, or collect data from websites - Fill out forms, click buttons, or interact with web elements - Verify, validate, test, or QA frontend UI behavior - Take screenshots of web pages - Automate multi-step web workflows - Test what was just built, see if it works in browser - Connect to Chrome via CDP, DevTools Protocol, or remote debugging - Connect to user's Chrome browser, control my browser, operate my Chrome Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/harmonyos-device-automation

Vision-driven HarmonyOS NEXT device automation using Midscene. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control HarmonyOS devices with natural language commands via HDC. Perform taps, swipes, text input, app launches, screenshots, and more. Trigger keywords: harmony, harmonyos, 鸿蒙, hdc, huawei device, harmony app, harmony automation, harmony phone, harmony tablet, test harmony app, verify on harmonyos, QA on 鸿蒙, check the app on harmony, test on huawei device, see if the app works on harmony, end-to-end test on harmonyos, visual verification on 鸿蒙 Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/ios-device-automation

Vision-driven iOS device automation using Midscene CLI. Operates entirely from screenshots — no DOM or accessibility labels required. Can interact with all visible elements on screen regardless of technology stack. Control iOS devices with natural language commands via WebDriverAgent. Triggers: ios, iphone, ipad, ios app, tap on iphone, swipe, mobile app ios, ios device, ios testing, iphone automation, ipad automation, ios screen, ios navigate, test ios app, verify on iphone, QA on ipad, check the app on ios, test on ios device, see if the app works on iphone, end-to-end test on ios, visual verification on ios Powered by Midscene.js (https://midscenejs.com)

web-infra-dev/vitest-midscene-e2e

Enhances Vitest with Midscene for AI-powered UI testing across Web (Playwright), Android (ADB), and iOS (WDA). Scaffolds new projects, converts existing projects, and creates/updates/debugs/runs E2E tests using natural-language UI interactions. Triggers: write test, add test, create test, update test, fix test, debug test, run test, e2e test, midscene test, new project, convert project, init project, 写测试, 加测试, 创建测试, 更新测试, 修复测试, 调试测试, 运行测试, 新建工程, 转化工程.

関連スキル