Anionex/dsh-vision-toolkit

Was macht dsh-vision-toolkit?

Ein DeepSeek Harness-Plugin, das reinen Textmodellen die Ausführung visueller Aufgaben ermöglicht: bildbasierte Fragen mit Intent-Erkennung, OCR für lange Screenshots, UI-Wiederherstellung und mehr.

Deutsche Übersetzung	Original English
Bildbasierte Fragen mit Intent-Erkennung	Image Q&A with Intent
OCR für lange Screenshots	Long-screenshot OCR
UI-Wiederherstellung	UI Restoration
Objektlokalisierung & -erkennung	Grounding
Pixel-Unterschiedsanalyse	Pixel Diff
Code-Vorschauen & Artefakte	Artifacts
Web-Benutzeroberfläche	Web UI

DeepSeek Harness-native Integration für Agent-Vision-Toolkit

Dieses Plugin erweitert DeepSeek Harness um visuelle Fähigkeiten. Es ermöglicht KI-Agenten, Bilder zu verstehen, Screenshots zu analysieren und UI-Elemente zu identifizieren – ohne dass das zugrunde liegende Modell selbst über visuelle Fähigkeiten verfügen muss.

Hauptfunktionen

• Bild-Fragen mit Intent-Erkennung: Stellen Sie Fragen zu einem Bild, und das Plugin extrahiert relevante Informationen basierend auf der Absicht der Anfrage.
• OCR für lange Screenshots: Extrahieren Sie Text aus langen Screenshots, z. B. aus Chatprotokollen oder langen Webseiten.
• UI-Wiederherstellung: Rekonstruieren Sie UI-Komponenten aus Screenshots oder Beschreibungen.
• Grounding: Lokalisieren und identifizieren Sie bestimmte Objekte in einem Bild.
• Pixel-Diff: Vergleichen Sie zwei Bilder und zeigen Sie die Unterschiede an.
• Artifacts: Erstellen und zeigen Sie HTML-, CSS- oder JavaScript-Code-Vorschauen direkt in der Ausgabe an.
• Web-Benutzeroberfläche: Interagieren Sie über eine benutzerfreundliche Weboberfläche mit dem Plugin.

Erste Schritte

1. Voraussetzungen: Stellen Sie sicher, dass DeepSeek Harness installiert und konfiguriert ist.
2. Installation:

   harness plugin install Anionex/dsh-vision-toolkit
   

3. Konfiguration:

   {
     "vision-toolkit": {
       "enabled": true,
       "image_base_path": "./images",
       "ocr_engine": "tesseract"
     }
   }
   

4. Nutzung: Starten Sie die DeepSeek Harness-Web-UI oder die API und verwenden Sie die Vision-Funktionen.

Beispiele

• OCR: harness run --tool vision-toolkit --action ocr --image screenshot.png
• Pixel-Diff: harness run --tool vision-toolkit --action pixel-diff --image before.png --image after.png
• UI-Wiederherstellung: harness run --tool vision-toolkit --action restore-ui --image ui.png

Konfigurationsoptionen

Parameter	Beschreibung	Standardwert
image_base_path	Basispfad für Bilddateien	./images
ocr_engine	Zu verwendende OCR-Engine	tesseract
max_image_size	Maximale Bildgröße in Pixeln	4096
enable_grounding	Grounding-Funktion aktivieren	true

Fehlerbehebung

• Bild wird nicht gefunden: Überprüfen Sie den image_base_path und stellen Sie sicher, dass die Datei existiert.
• OCR gibt leere Ergebnisse: Stellen Sie sicher, dass die Bildqualität ausreichend ist und die OCR-Engine korrekt konfiguriert ist.
• Plugin nicht geladen: Überprüfen Sie, ob das Plugin korrekt installiert und in der Konfiguration aktiviert ist.

Lizenz

MIT - Siehe LICENSE für Details.

Mitwirken

Beiträge sind willkommen! Bitte lesen Sie CONTRIBUTING.md für Richtlinien.