kiexpert/wkappbot-sdk

Was macht wkappbot-sdk?

Computer Use, App Use, AppBot — gib KI-Agenten echte Augen und Hände unter Windows. Open-Source RPA, bei dem Menschen, das App-Ökosystem und KI eine Tastatur teilen. Fokuslos. Selbstheilend. Multi-KI.

Überblick

Dieses SDK ermöglicht es KI-Agenten (z.B. Claude, Cursor, Codex), Windows-Anwendungen zu steuern, als ob sie menschliche Benutzer wären. Es basiert auf dem Prinzip der „focusless“-Interaktion – die KI muss nicht den Fokus auf ein bestimmtes Fenster übernehmen, sondern kann Aktionen im Hintergrund ausführen. Dies ist besonders nützlich für Automatisierung, bei der mehrere Anwendungen gleichzeitig gesteuert werden.

Hauptfunktionen

• Computer Use: KI-Agenten können Bildschirminhalte erkennen und mit UI-Elementen interagieren.
• App Use: Direkte Steuerung von Windows-Anwendungen (z.B. Tastatureingaben, Mausklicks).
• AppBot: Ein Bot-Framework, das die Automatisierung von App-Abläufen vereinfacht.
• Selbstheilung: Automatische Erkennung und Behebung von UI-Änderungen oder Fehlern.
• Multi-KI: Unterstützt mehrere KI-Modelle gleichzeitig.

Voraussetzungen

• Windows 10/11
• Python 3.9+
• Zugriff auf ein KI-Modell (z.B. OpenAI API, Anthropic API)

Installation

pip install wkappbot-sdk

Schnellstart

from wkappbot import AppBot

# Bot initialisieren
bot = AppBot()

# Erfasse Screenshot
screenshot = bot.capture_screen()

# Sende an KI zur Analyse
response = ai_model.analyze(screenshot)

# Führe Aktion aus
bot.click(response["x"], response["y"])
bot.type_text("Hallo Welt")

Konfiguration

Setze Umgebungsvariablen oder verwende eine .env Datei:

AI_API_KEY=dein_api_schlüssel
AI_MODEL=gpt-4

Beispiele

Siehe das Verzeichnis examples/ für vollständige Beispiele:

• automate_calculator.py – Automatisiere den Windows Rechner
• web_browser_control.py – Steuere einen Webbrowser

Lizenz

MIT – siehe LICENSE

Mitwirken

Beiträge sind willkommen! Bitte öffne ein Issue oder sende einen Pull Request.