am-will/gemini-computer-use

Que fait gemini-computer-use ?

Construisez et exécutez des agents de contrôle de navigateur utilisant Gemini 2.5 Computer Use avec Playwright. Utilisez-le lorsqu'un utilisateur souhaite automatiser des tâches de navigation web via le modèle Gemini Computer Use, a besoin d'une boucle d'agent (capture d'écran → appel de fonction → action → réponse de fonction), ou demande d'intégrer une confirmation de sécurité pour les actions d'interface risquées.

Prérequis

• Node.js 18+
• Une clé d'API Gemini (définir GEMINI_API_KEY dans l'environnement)
• Playwright installé : npx playwright install

Utilisation

git clone https://github.com/am-will/gemini-computer-use.git
cd gemini-computer-use
npm install
npx playwright install

Définissez votre clé API Gemini comme variable d'environnement :

export GEMINI_API_KEY=votre_clé_api_ici

Exécutez l'agent :

npm start -- "Ouvrez Wikipedia et recherchez 'Intelligence Artificielle'"

Fonctionnement

1. L'agent prend une capture d'écran du navigateur.
2. Le modèle Gemini 2.5 analyse la capture d'écran et décide de la prochaine action (clic, saisie, navigation, etc.).
3. L'action est exécutée par Playwright.
4. Une réponse est renvoyée au modèle.
5. La boucle se répète jusqu'à ce que la tâche soit accomplie ou qu'une limite soit atteinte.

Sécurité

Pour les actions risquées (ex : cliquer sur un bouton de soumission de formulaire, naviguer vers un site externe), l'agent demande une confirmation avant d'exécuter l'action.

Action risquée détectée : Soumettre le formulaire de connexion
Voulez-vous continuer ? (oui/non) :

Variables d'environnement

• GEMINI_API_KEY : Clé d'API pour le modèle Gemini (obligatoire)
• GEMINI_MODEL : Nom du modèle à utiliser (défaut : gemini-2.5-pro-exp-03-25)
• MAX_STEPS : Nombre maximum d'étapes dans la boucle de l'agent (défaut : 50)
• HEADLESS : Exécuter le navigateur en mode headless (défaut : false)

Résolution de problèmes

• Assurez-vous que Playwright est correctement installé avec npx playwright install.
• Vérifiez que GEMINI_API_KEY est définie et valide.
• Pour les problèmes de sandboxing du navigateur sous Linux, exécutez :

npx playwright install-deps

Licence

MIT