O que dsh-vision-toolkit faz?
Plugin do DeepSeek Harness que capacita modelos de texto puro a realizar tarefas visuais: perguntas e respostas com intenção sobre imagens, OCR em capturas de tela longas, restauração de UI, grounding, pixel diff, Artifacts e interface web.
Visão Geral
Este plugin integra o agent-vision-toolkit ao DeepSeek Harness, permitindo que modelos de linguagem (LLMs) executem operações de visão computacional sem necessidade de suporte nativo a multimodalidade. Ele traduz comandos textuais em ações visuais.
Funcionalidades
- Perguntas e respostas com intenção sobre imagens: Faça perguntas contextuais sobre imagens e obtenha respostas precisas.
- OCR em capturas de tela longas: Extraia texto de capturas de tela extensas com alta precisão.
- Restauração de UI: Reconstrua interfaces de usuário a partir de imagens de protótipos ou capturas.
- Grounding: Localize e identifique objetos específicos em imagens.
- Pixel diff: Compare imagens e destaque diferenças visuais.
- Artifacts: Gere e gerencie artefatos visuais.
- Interface web: Interaja com o plugin através de uma interface web amigável.
Como Usar
- Instale o plugin no seu ambiente DeepSeek Harness.
- Configure as dependências (se houver):
pip install agent-vision-toolkit - Importe e registre o plugin no seu agente.
Exemplo
from dsh_vision_toolkit import VisionToolkitPlugin
plugin = VisionToolkitPlugin()
response = plugin.process({
"task": "image_qa",
"image": "caminho/para/imagem.jpg",
"question": "O que está nesta imagem?"
})
print(response)
Requisitos
- DeepSeek Harness instalado
- Python 3.8+
- Conexão com a internet (para algumas funcionalidades)
Licença
MIT