O que local-llm-server faz?
Plataforma de Infraestrutura para Agentes de IA Autônomos — Gateway de IA compatível com OpenAI com suporte a MCP, orquestração multiagente, chamada de ferramentas, observabilidade, memória, RAG, fluxos de trabalho de IA e infraestrutura unificada para qualquer provedor de LLM.
Visão Geral
O strikersam/local-llm-server é uma plataforma poderosa que simplifica a construção e o gerenciamento de agentes de IA. Ele fornece um único ponto de entrada compatível com a API da OpenAI, mas estendido com funcionalidades críticas para produção, como memória de longo prazo, recuperação de conhecimento (RAG), execução de ferramentas personalizadas e coordenação entre múltiplos agentes.
Principais Recursos
- Gateway OpenAI-compatível: Use qualquer cliente ou ferramenta que suporte a API OpenAI (ex.: Claude Code, Cursor, Codex) diretamente.
- Suporte a MCP: Integre agentes com o Model Context Protocol para contexto compartilhado e controle.
- Orquestração Multiagente: Coordene múltiplos agentes para tarefas complexas.
- Tool Calling: Permita que agentes chamem funções e APIs externas.
- Memória e RAG: Armazene e recupere conhecimento de forma eficiente.
- Observabilidade: Monitore chamadas, latência, erros e uso com dashboards.
- Fluxos de Trabalho de IA: Defina pipelines de processamento com lógica condicional.
- Suporte Universal a LLMs: Conecte-se a modelos locais (via Ollama, llama.cpp) ou em nuvem (OpenAI, Anthropic, Google, etc.).
Como Usar
Instalação
git clone https://github.com/strikersam/local-llm-server.git
cd local-llm-server
pip install -r requirements.txt
Inicialização
python server.py --config config.yaml
Exemplo de Chamada (API OpenAI)
import openai
client = openai.OpenAI(
base_url="http://localhost:8000/v1",
api_key="sua-chave-aqui"
)
response = client.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": "Olá, mundo!"}]
)
print(response.choices[0].message.content)
Configuração
Veja o arquivo config.yaml para todas as opções de configuração, incluindo:
llm_providers: Lista de provedores de LLM com chaves de API.memory: Configurações de banco de dados vetorial (ex.: Chroma, Qdrant).tools: Definições de ferramentas personalizadas.mcp: Configurações do Model Context Protocol.
Exemplos
Recursos Adicionais
- Documentação completa: https://github.com/strikersam/local-llm-server/wiki
- Repositório no GitHub: strikersam/local-llm-server