Que fait computer-use ?
Utilisez l'interface en ligne de commande d'Orca pour inspecter et interagir avec les fenêtres d'applications de bureau locales via des arbres d'accessibilité, des captures d'écran et des actions UI sécurisées. Utilisez-la pour interagir avec des applications de bureau : lister les applications/fenêtres, obtenir l'état de l'application, lire l'UI visible, cliquer sur des contrôles, taper, presser des touches, faire défiler, glisser-déposer, définir des valeurs ou effectuer des actions d'accessibilité. Convient aussi pour les fenêtres de navigateur, les webviews, l'interface de l'application Orca ou d'autres UI de bureau. Les déclencheurs incluent "computer use", "orca computer", "read Spotify", "read Slack", "control/click/read in a desktop app" et "get app state".