Communitygithub.com

stablyai/computer-use

Utiliza la CLI de uso de computadora de Orca para inspeccionar y operar ventanas locales de aplicaciones de escritorio a través de árboles de accesibilidad, capturas de pantalla y acciones seguras de UI. Ideal para interactuar con aplicaciones de escritorio: listar aplicaciones/ventanas, obtener estado de la aplicación, leer UI visible, hacer clic en controles, escribir, presionar teclas, desplazar, arrastrar, establecer valores o realizar acciones de accesibilidad.

¿Qué es computer-use?

Esta habilidad proporciona una interfaz de línea de comandos (CLI) para controlar aplicaciones de escritorio de forma programática y segura. Utiliza el comando `orca` para acceder al árbol de accesibilidad de cualquier ventana de aplicación, permitiendo inspeccionar su estado, leer contenido visible, hacer clic en botones, escribir texto, presionar teclas, desplazar, arrastrar elementos y realizar otras acciones comunes de UI. Es especialmente útil para automatizar tareas en aplicaciones como Spotify, Slack, navegadores web y la propia interfaz de Orca. La habilidad no solo lista aplicaciones y ventanas, sino que también permite obtener el estado detallado de una aplicación específica y leer el contenido visible de manera estructurada. Esto la convierte en una herramienta poderosa para desarrolladores y agentes de IA que necesitan interactuar con aplicaciones de escritorio sin depender de soluciones frágiles basadas en coordenadas de pantalla. Las acciones se ejecutan de forma segura, evitando movimientos del ratón o pulsaciones de teclas que puedan interferir con el usuario.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/stablyai/orca/tree/main/skills/computer-use

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace computer-use?

Usa la CLI de uso de computadora de Orca para inspeccionar y operar ventanas locales de aplicaciones de escritorio a través de árboles de accesibilidad, capturas de pantalla y acciones seguras de UI. Úsalo para interacción con aplicaciones de escritorio: listar aplicaciones/ventanas, obtener estado de la aplicación, leer UI visible, hacer clic en controles, escribir, presionar teclas, desplazar, arrastrar, establecer valores o realizar acciones de accesibilidad. También se puede usar para ventanas de navegador, webviews, la UI de la aplicación Orca u otras UI de escritorio. Los desencadenantes incluyen "uso de computadora", "orca computer", "leer Spotify", "leer Slack", "controlar/hacer clic/leer en una aplicación de escritorio" y "obtener estado de la aplicación".

Individual skills in this repo

This repo contains 7 individual skills — each has its own dedicated page.

Skills relacionados