Que fait peekaboo ?
Utilisez Peekaboo pour inspecter l'interface utilisateur macOS, agir sur la cible visée et vérifier le résultat.
Les exemples ci-dessous utilisent la syntaxe v4. Vérifiez peekaboo --version et l'aide (--help) de la commande installée ; pour les versions anciennes, suivez l'aide de cette version.
Pont OpenClaw
L'application macOS OpenClaw héberge le pont Peekaboo lorsque le contrôle de l'ordinateur est activé, que son fournisseur est Peekaboo et que le pont Peekaboo est activé. Conservez la sélection de socket OpenClaw existante lors de l'exécution via cet hôte :
export PEEKABOO_BRIDGE_SOCKET="${PEEKABOO_BRIDGE_SOCKET:-$HOME/Library/Application Support/OpenClaw/bridge.sock}"
peekaboo bridge status --json
Confirmez que l'hôte et le socket sélectionnés sont ceux attendus. Préservez une valeur explicite de PEEKABOO_BRIDGE_SOCKET ou de --bridge-socket. Si l'hôte requis est indisponible, signalez ce résultat ; ne modifiez pas la sélection ni ne changez de fournisseur de contrôle pour faire réussir une commande.
Les permissions appartiennent au processus ou à l'hôte du pont qui effectue l'opération.
Ne passez pas --no-remote sauf si l'appelant dispose des permissions nécessaires.
Trouver la commande installée
Utilisez l'aide de la commande feuille pour connaître les options et les exigences de ciblage, plutôt que de copier une option entre commandes. Utilisez l'aide racine pour découvrir les commandes disponibles :
peekaboo --help
peekaboo app list --help
peekaboo see --help
peekaboo press --help
peekaboo drag --help
V4 a supprimé ces anciennes racines de commandes :
| Ancienne commande | Commande V4 |
|---|---|
list apps | app list |
image | see --no-elements pour les pixels sans détection d'éléments |
hotkey | press avec des accords comme cmd+shift+t |
swipe | drag --from … --to … |
Pour d'autres opérations, y compris cliquer, taper, faire défiler et gérer les fenêtres ou les menus, utilisez peekaboo <commande> --help. Placez les options de la commande après la commande feuille ; --json demande une sortie structurée.
Inspecter, agir, vérifier
Commencez par l'inventaire des applications et une vue fraîche de la cible :
peekaboo app list --json
peekaboo see --app Safari --window-title "Exemple" --annotate \
--path /tmp/peekaboo-exemple.png --json
Lisez les éléments retournés avant d'agir. Liez les actions à l'application, la fenêtre et l'instantané frais ; ne réutilisez pas des identifiants d'éléments d'exemple. Après une action, inspectez à nouveau l'interface et vérifiez le résultat demandé. Rafraîchissez l'observation lorsque la fenêtre change ou qu'une cible devient obsolète.
Pour une capture d'écran sans détection d'éléments :
peekaboo see --mode screen --screen-index 0 --no-elements --retina \
--path /tmp/peekaboo-ecran.png --json
Les accords de touches bruts nécessitent une interaction explicite au premier plan ou un récépissé de fenêtre exacte frais accepté par press. Le glissement déplace toujours le curseur partagé et nécessite --foreground. Lorsque l'interaction au premier plan est autorisée :
peekaboo press cmd+shift+t --app Safari --foreground --json
peekaboo drag --from 100,500 --to 100,200 --duration 800ms --foreground --json
Utilisez la cible et les coordonnées réelles issues de l'observation courante. Préférez des unités de durée explicites comme 800ms ; consultez l'aide de chaque commande pour ses options et prérequis.
Dépannage
- Pour une erreur de commande supprimée, utilisez le remplacement nommé par le CLI installé.
- Pour des échecs d'hôte ou de permissions, inspectez
peekaboo bridge status --jsonetpeekaboo permissions status --jsonpour l'hôte sélectionné. - Pour des échecs de ciblage, lisez l'aide de la commande feuille et obtenez un état UI frais avec
see. - Sur macOS 15+, la demande privée de sélecteur de fenêtre est distincte de l'autorisation d'enregistrement d'écran de base et peut apparaître même lorsque les permissions du pont sont correctes.