O que llmfit-hardware-model-matcher faz?
Ferramenta de terminal que detecta seu hardware e recomenda quais modelos de LLM realmente rodarão bem no seu sistema.
Descrição
Esta ferramenta varre as especificações do seu hardware (CPU, GPU, RAM, armazenamento) e consulta um banco de dados de modelos de linguagem de grande escala (LLMs) para recomendar aqueles que rodarão de forma ideal na sua máquina. Não perca mais tempo baixando modelos incompatíveis ou que travam o sistema.
Funcionalidades
- Detecção automática de hardware: Identifica GPU (NVIDIA, AMD, Intel), CPU, RAM total e disponível, além de espaço em disco.
- Recomendações inteligentes: Com base nas capacidades do hardware, lista modelos que se encaixam nos requisitos mínimos e recomendados.
- Suporte a múltiplas plataformas: Funciona no Linux, macOS e Windows (via WSL).
- Saída clara e acionável: Para cada modelo recomendado, exibe nome, tamanho aproximado, provedor e link para download.
Como usar
-
Clone o repositório:
git clone https://github.com/aradotso/llmfit-hardware-model-matcher.git cd llmfit-hardware-model-matcher -
Execute o script de detecção:
python detect_hardware.py -
Obtenha as recomendações:
python recommend_models.py
Exemplo de saída
| Hardware Detectado | Modelos Recomendados |
|---|---|
| NVIDIA RTX 3060 12GB | Llama 2 7B, Mistral 7B, Gemma 7B |
| Apple M1 16GB RAM | Llama 2 7B (quantizado), Phi-2 |
| CPU Intel i7 + 32GB RAM | Llama 2 7B (CPU), Falcon 7B (CPU) |
Requisitos
-
Python 3.7 ou superior
-
Bibliotecas:
psutil,gputil,requests,tabulateInstale com:
pip install -r requirements.txt
Notas
- Os modelos recomendados são baseados em informações públicas e benchmarks. Consulte sempre a documentação oficial de cada modelo para requisitos exatos.
- Caso sua GPU não seja detectada, a ferramenta recomendará modelos compatíveis com CPU.
Licença
Este projeto está licenciado sob a MIT License – veja o arquivo LICENSE para detalhes.
Suporte
Para dúvidas ou relatos de bugs, abra uma issue no repositório oficial.