Que fait desktop-control ?
Contrôle de la souris, du clavier et de l'écran pour les tâches d'automatisation du bureau.
Description
Cette compétence permet à un agent IA de contrôler directement les périphériques d'entrée (souris, clavier) et de capturer l'écran de l'ordinateur hôte. Idéal pour automatiser des séquences de clics, la saisie de texte, la navigation dans des interfaces graphiques ou la vérification visuelle de l'état d'une application.
Plateformes supportées
- Windows
- macOS
- Linux
Utilisation
- Déplacement de la souris : Déplace le curseur vers des coordonnées spécifiques ou des éléments de l'interface.
- Clics : Effectue des clics gauche, droit ou double-clic.
- Saisie clavier : Tape du texte ou simule des combinaisons de touches (Ctrl+C, Alt+Tab, etc.).
- Capture d'écran : Prend une capture de l'écran entier ou d'une zone définie.
Exemples de commandes
# Déplacer la souris aux coordonnées (500, 300)
move_mouse -x 500 -y 300
# Effectuer un clic gauche
click -button left
# Taper "Hello, world!"
type_text -text "Hello, world!"
# Capturer l'écran
screenshot -output capture.png
Configuration
Aucune configuration préalable nécessaire. Assurez-vous simplement que l'agent dispose des permissions nécessaires pour interagir avec le système d'exploitation.
Remarques
- Certaines actions peuvent nécessiter des privilèges administrateur sur macOS (via les paramètres d'accessibilité).
- Sur Linux, vérifiez que les dépendances (comme
xdotoolouscrot) sont installées. - L'agent ne doit pas être utilisé pour des actions malveillantes ou non autorisées.
Dépannage
- Si la souris ne se déplace pas, vérifiez les permissions d'accessibilité.
- Pour les captures d'écran, assurez-vous que le répertoire de destination est accessible en écriture.