¿Qué hace dsh-vision-toolkit?
Plugin de DeepSeek Harness para que los modelos de solo texto realicen tareas visuales: preguntas y respuestas con intención sobre imágenes, OCR de capturas largas, restauración de UI, grounding, pixel diff, Artifacts e interfaz web.
Descripción general
Este toolkit extiende las capacidades de los agentes de IA basados en DeepSeek Harness para trabajar con imágenes y contenido visual, permitiendo que modelos puramente textuales ejecuten operaciones avanzadas de visión por computadora. Es ideal para automatizar tareas que requieren análisis de imágenes sin necesidad de un modelo multimodal.
Características principales
- Preguntas y respuestas con intención sobre imágenes (Image Q&A with intent): Haz preguntas complejas sobre el contenido de una imagen y obtén respuestas contextuales.
- OCR de capturas de pantalla largas (Long-screenshot OCR): Extrae texto de capturas de pantalla extensas, como páginas web completas o documentos.
- Restauración de UI (UI restoration): Reconstruye interfaces de usuario a partir de capturas de pantalla, generando código o descripciones.
- Grounding visual (Grounding): Identifica y localiza objetos o regiones específicas en una imagen.
- Detección de diferencias entre píxeles (Pixel diff): Compara dos imágenes y resalta las diferencias visuales.
- Generación de artefactos (Artifacts): Crea representaciones visuales o diagramas basados en instrucciones del usuario.
- Interfaz web (Web UI): Panel de control interactivo para gestionar y visualizar las operaciones.
Requisitos
- Python 3.9+
- DeepSeek Harness instalado
- Dependencias adicionales:
Pillow,pytesseract,opencv-python,numpy
Instalación
pip install dsh-vision-toolkit
O clona el repositorio:
git clone https://github.com/Anionex/dsh-vision-toolkit.git
cd dsh-vision-toolkit
pip install -r requirements.txt
Configuración
Asegúrate de tener las siguientes variables de entorno configuradas:
DEEPSEEK_API_KEY=tu_clave_api
dsh-toolkit-vision-enable=true
Uso con DeepSeek Harness
El plugin se integra automáticamente con DeepSeek Harness. Solo necesitas importarlo y registrar las herramientas:
from dsh_vision_toolkit import VisionToolkit
# Inicializar el toolkit
vision = VisionToolkit()
# Registrar las herramientas en el harness
harness.register_tools(vision.tools())
Ejemplo: Análisis de imagen con intención
resultado = harness.run("Analiza esta captura de pantalla y dime qué botón principal hay en la esquina superior derecha", imagen="captura.png")
print(resultado)
Contribuciones
Las contribuciones son bienvenidas. Por favor, abre un issue o un pull request en el repositorio oficial de GitHub.
Licencia
MIT