desktop-computer-automation は何をしますか?
ビジョン駆動型デスクトップ自動化をMidsceneで実現。自然言語コマンドでローカルデスクトップ(macOS、Windows、Linux)またはRDP経由のリモートWindowsデスクトップを制御します。スクリーンショットのみに基づいて動作するため、DOMやアクセシビリティラベルは不要です。技術スタックに関わらず、画面上のすべての可視要素と対話できます。⚠️ ローカルモードではユーザーの実際のマウスとキーボードを乗っ取ります。Webアプリの場合は「ブラウザ自動化」を優先してください。このスキルは、ブラウザで動作しないデスクトップネイティブアプリ(Electron、Qt、ネイティブmacOS/Windows/Linux)や、RDP経由でリモートWindowsホストを駆動する場合にのみ使用してください。トリガー: アプリを開く、キーを押す、デスクトップ、コンピュータ、画面をクリック、テキストを入力、デスクトップをスクリーンショット、アプリケーションを起動、ウィンドウを切り替え、デスクトップ自動化、コンピュータを制御、マウスクリック、キーボードショートカット、画面キャプチャ、画面上で検索、画面を読み取り、ウィンドウを確認、アプリを閉じる、Electronアプリをテスト、RDP、リモートデスクトップ、Windowsサーバー、RDPで接続。Midscene.js (https://midscenejs.com) を搭載。