O que screen-flow-ai-agent faz?
Inteligente flutuante de captura de tela — captura de tela + modelo multimodal grande = resposta AI instantânea, baseado em LangGraph.
Como Funciona
- Ativar a Sobreposição Flutuante: Inicie o agente e um botão ou janela flutuante aparecerá na tela.
- Capturar Tela: Clique no botão flutuante para ativar a ferramenta de captura de tela.
- Obter Resposta AI: A imagem capturada é enviada para um modelo multimodal (por exemplo, GPT-4V, Claude Vision) que analisa o conteúdo e retorna uma resposta relevante.
- Resultado Exibido: A resposta AI é exibida no flutuante ou em um painel separado.
Casos de Uso
- Depuração: Capture um erro ou trecho de código e obtenha explicações ou sugestões de correção.
- Aprendizagem: Capture diagramas, gráficos ou texto e receba explicações ou resumos em linguagem natural.
- Pesquisa: Capture rapidamente conteúdo da web e faça perguntas de acompanhamento.
Requisitos
- Python 3.10+
- LangGraph instalado (
pip install langgraph) - Chave de API para o modelo multimodal (por exemplo, OpenAI, Anthropic)
Instalação
pip install langgraph pillow pyautogui
Configuração
Defina suas variáveis de ambiente:
export OPENAI_API_KEY="sua-chave-api"
# ou
export ANTHROPIC_API_KEY="sua-chave-api"
Uso
from screen_flow import ScreenFlowAgent
agent = ScreenFlowAgent()
agent.run()
Estrutura do Projeto
screen-flow-ai-agent/
├── agent.py # Lógica principal do agente
├── capture.py # Funcionalidade de captura de tela
├── llm.py # Integração do modelo multimodal
├── ui.py # Componentes da interface do usuário flutuante
└── README.md # Este arquivo
Estrutura do Fluxo LangGraph
- Nó de Entrada: Aguarda entrada do usuário (acionamento de captura de tela)
- Nó de Captura: Captura a tela e processa a imagem
- Nó de Modelo: Envia a imagem para o modelo multimodal
- Nó de Saída: Exibe a resposta AI ao usuário
Licença
MIT License