Communitygithub.com

stablyai/computer-use

Nutze Orcas Computer-Use-CLI, um lokale Desktop-App-Fenster über Accessibility-Bäume, Screenshots und sichere UI-Aktionen zu inspizieren und zu bedienen.

Was ist computer-use?

Diese Skill ermöglicht es KI-Agenten wie Claude Code, Cursor oder Codex, lokale Desktop-Anwendungen direkt zu steuern. Dazu wird Orcas Computer-Use-CLI genutzt, die auf Accessibility-Bäumen, Screenshots und sicheren UI-Aktionen basiert. Der Skill kann Fenster auflisten, den App-Status abrufen, sichtbare UI-Elemente lesen sowie Aktionen wie Klicken, Tippen, Tastendrücke, Scrollen, Ziehen und das Setzen von Werten ausführen. Er unterstützt Browser-Fenster, WebViews und die Orca-App-Oberfläche. Auslöser sind z. B. „computer use“, „orca computer“, „read Spotify“, „read Slack“ oder „get app state“. Entwickler profitieren von einer barrierefreien Desktop-Automatisierung, die über herkömmliche Bildschirmaufnahmen hinausgeht und präzise UI-Interaktionen ermöglicht.

Funktioniert mit~Claude Code~Codex CLI~Cursor
Part ofDesign & UI
npx skills add https://github.com/stablyai/orca/tree/main/skills/computer-use
Original anzeigen→Alle Skills durchsuchen

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

OpenAIChatGPTClaudeClaudeGeminiGeminiGrokGrokPerplexityPerplexityDeepSeekDeepSeek

Dokumentation

Was macht computer-use?

Verwende Orcas Computer-Use-CLI, um lokale Desktop-App-Fenster über Accessibility-Bäume, Screenshots und sichere UI-Aktionen zu inspizieren und zu bedienen. Nutze dies für die Interaktion mit Desktop-Apps: Apps/Fenster auflisten, App-Status abrufen, sichtbare UI lesen, Steuerelemente klicken, Text eingeben, Tasten drücken, scrollen, ziehen, Werte setzen oder Accessibility-Aktionen ausführen. Verwende es auch für Browser-Fenster, WebViews, Orca-App-Oberfläche oder andere Desktop-UIs. Auslöser sind „computer use“, „orca computer“, „read Spotify“, „read Slack“, „control/click/read in a desktop app“ und „get app state“.

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

stablyai/linear-tickets

>-

stablyai/orca-cli

Use the public `orca` CLI to operate Orca-managed worktrees, folder contexts, terminals, repos, automations, worktree comments, and the browser embedded inside the Orca app. Use when the user says "$orca-cli", "use orca cli", "Orca worktree", "child worktree", "spawn codex/claude in a worktree", "read/wait/send Orca terminal", "terminal send", "Orca browser", or "control the browser inside Orca". Prefer this over raw `git worktree`, ad hoc PTYs, Playwright, or Computer Use when the task touches Orca-managed state. Use Computer Use for browser windows, webviews, or desktop UI outside Orca's embedded browser.

stablyai/orca-emulator

>-

stablyai/orca-emulator-android

>-

stablyai/orca-linear

>-

stablyai/orca-per-workspace-env

>-

stablyai/orchestration

Use Orca orchestration for structured multi-agent coordination: threaded messages, blocking ask/reply flows, task dispatch, worker_done/escalation waits, task DAGs, decision gates, coordinator loops, or decomposing work across agents. Use `orca-cli` instead for ordinary terminal control, lightweight terminal prompts, shell commands, Orca worktree management, reading or waiting on terminals, and automation of the browser embedded inside Orca. Use Computer Use for browser windows, webviews, Orca app UI, or desktop UI outside Orca's embedded browser.

Verwandte Skills

steipete/sag

ElevenLabs text-to-speech with mac-style say UX.

community

steipete/oracle

Oracle CLI second-model review/debug/refactor/design with selected files, dry-run token checks, API or browser engine.

community

steipete/peekaboo

Capture and automate macOS UI with the Peekaboo CLI.

community

mattpocock/design-an-interface

Generate multiple radically different interface designs for a module using parallel sub-agents. Use when user wants to design an API, explore interface options, compare module shapes, or mentions "design it twice".

community

mattpocock/prototype

Build a throwaway prototype to flesh out a design — a runnable terminal app for state/business-logic questions, or several radically different UI variations toggleable from one route.

community

mattpocock/grill-me

Interview the user relentlessly about a plan or design until reaching shared understanding, resolving each branch of the decision tree. Use when user wants to stress-test a plan, get grilled on their design, or mentions "grill me".

community